Нейросеть научили читать и расшифровывать древнерусские грамоты
Черно-белые эскизы букв на фоне бумаги / © Пресс-служба НовГУ / Иван Филиппов
В НовГУ разработали систему искусственного интеллекта для автоматического распознавания и интерпретации текстов древнерусских грамот. Разработка вошла в число проектов-победителей грантового конкурса «Студенческий стартап» Фонда содействия инновациям. На её реализацию выделен один миллион рублей.
Автоматических решений для таких задач на данный момент нет. Существующие аналоги либо недостаточно точны, либо нестабильны, либо требуют больших, размеченных вручную датасетов. Разработка Ивана Филиппова призвана стать новым быстрым инструментом для библиографиов, палеографов, архивистов.
Для обучения нейросети использовали датасет из пяти «эталонных» грамот, на которых буквы были размечены вручную. При отборе грамот было важно, чтобы они были целыми, крупными по объёму и содержали наибольшее разнообразие разборчиво написанных букв. Также в датасет вошли автоматические вырезки букв, сделанные детектором.
— С запуска детектора начинается процесс работы ИИ, — пояснил Иван Филиппов. — Детектор отвечает за обнаружение и объединение боксов вокруг букв. Боксы — это прямоугольники, заключающие в себе буквы. Так как модель не может принять полную грамоту и дать детальную расшифровку — необходимо давать ей буквы по отдельности, уже после собирая их в строки. Затем происходит сегментация, поиск контуров, объединение соседних боксов по дистанции и соотношение площадей. Далее для распознавания букв используется свёрточная сеть ResNet-18, адаптированная под вырезки 64х64 пикселя. Все полученные вырезки букв сохраняются в виде PNG-файлов, сгруппированных по классам. Экспорт данных реализован на языке программирования Python с использованием стандартных библиотек, что гарантирует лёгкую интеграцию и последующую аналитику.
На данный момент уже создано приложение, позволяющее быстро загружать фото, автоматически детектировать боксы, распознавать буквы и экспортировать результаты. Для удобства пользователя в нём используется интуитивный интерфейс Canvas позволяет быстро и наглядно загружать любые изображения грамот, использовать функции зума и панорамы для точного выбора областей, автоматически или вручную выделять рамки вокруг букв, мгновенно редактировать, перемещать, удалять и отменять действия. Все действия выполняются мышью и горячими клавишами, а готовые инструменты Python обеспечивают простоту интеграции и отзывчивость даже на больших изображениях.
— Система показала высокую производительность: полный прогон одного изображения занимает 1-2 секунды, — рассказал Иван Филиппов. — Также она демонстрирует надёжность и устойчивость благодаря компактной архитектуре, плавной работе пользовательского интерфейса. Точность распознавания высокая — после всех доработок и корректировок она составляет 98%. Система уже сейчас готова к интеграции в архивные и научные проекты по изучению древнерусских грамот. То, что уже сделано, позволяет раскрыть такие функции, как датирование и установка авторства грамоты. Также модель, обученная на грамотах, хорошо работает и с рукописями, что и является основной проблемой, к решению которой в итоге мы придём. Ведь у нас хранится множество рукописей, о которых, помимо самого текста, мало чего известно. В любом случае, мы открыты к взаимодействию и готовы работать со всеми, кто может быть заинтересован в реализации проекта — например, с Центром археологических исследований НовГУ.
Источник: https://naked-science.ru/article/column/nejroset-nauchili-chitat