AngelinaReader – веб-приложение, умеющее распознавать брайль. Его цель – облегчить жизнь зрячим людям, которые вынуждены контактировать с брайлем ежедневно.
В первую очередь, это родители и родственники незрячих детей, а также педагоги, работающие с данным контингентом. Механизм работы предельно прост: пользователь открывает страницу веб-приложения, фотографирует или загружает фото с брайлевским текстом, который система обрабатывает и распознает, демонстрируя на выходе:
- распознанный текст, доступный для копирования,
- исходное фото, на которым подстрочно также расшифрован брайлевский текст.
На сайте есть страница «Помощь», где более подробно можно ознакомиться с правилами использования приложения и даже посмотреть парочку обучающих видео.
Начиная с декабря 2020 года педагоги нашей школы активно участвовали в апробировании и тестировании этого приложения. Основные выводы, которые можно сделать, приведены ниже.
- Приложение хорошо распознаёт брайль, даже двусторонний, при естественном освещении. Искусственный свет накладывает ряд ограничений, основные из которых описаны в разделе помощь на самом сайте и касаются направления источника света, который должен находиться спереди. При искусственном освещении важно следить, чтобы точки оставляли тень, падающую книзу страницы, для чего листок (книгу) можно слегка наклонить на себя. Тексты из старых книг с пожелтевшей бумагой и деформировавшимися от многократных чтений точками ожидаемо распознаются хуже.
2. Приложение распознает русский и английский языки, основные знаки препинания и цифры, а также ряд математических и специальных символов. Возможностей приложения с лихвой хватает для распознавания обычных текстов (например, из книг или учебников литературного чтения, окружающего мира и т.п.). Однако в случаях, когда одна и та же комбинация точек обозначает несколько разных символов, возникают проблемы. Так, комбинация 2, 3, 5, 6 точек обозначает круглые скобки в текстах (которые поэтому в среде брайлистов часто называют грамматическими), но также обозначает знак = в математических записях. Это явление весьма распространено в брайлевском шрифте и связано с тем, что максимальное количество информативных точечных комбинаций 255 – весьма скромное число для многообразия любого письменного языка и, в особенности, языка математики, химии, физики.
3. Приложение умеет распознавать основные дополнительные знаки брайлевского шрифта – цифровой, признак заглавной буквы.
4. Многоклеточные знаки, включая обыкновенные дроби, приложение пока не распознает.
5. Главная фишка брайля, делающая его таким похожим на программный код – заключение текста в «тэги» (например, для подчеркивания или изменения начертания шрифта) – пока также недоступна для искусственного интеллекта.
Резюмируя: безусловно, пользу приложения трудно переоценить, а основные проблемы связаны со спецификой брайлевского шрифта, которая, стоит отметить, поначалу вызывает легкий когнитивный диссонанс даже у человека. Контекстность брайля – это его бесконечный резерв и вместе с тем камень преткновения для машинного обучения. Но если нейросети уже научились рисовать картины – как знать, может и брайль в совершенстве освоят?
AngelinaReader – это приложение с открытым исходным кодом, и помочь с его разработкой может любой неравнодушный и компетентный в вопросе человек. Репозиторий проекта на гитхабе.
Tactile Speech Factory 