Отсканированные книги и архивы на языках народов России доступны людям, но не подходят для обучения искусственного интеллекта. Технический директор проекта «Языки народов России» Яндекса Андрей Михеев назвал это «иллюзией оцифрованности»: данные есть, но в машиночитаемом формате их нет. Даже активно используемые языки остаются малоресурсными для ИИ. Проблему обсудили на сессии «Практикум. Язык. Культура. Данные: ИИ для языков без корпусов».
Как сообщили участники сессии, модератор — начальник отдела поддержки и реализации языковых проектов ФГБУ «Дом народов России» Фериде Арония — задала тон беседы, напомнив, что ЮНЕСКО определило цифровизацию языков одним из ключевых направлений работы. Мировой опыт показывает, что искусственный интеллект уже становится реальным инструментом поддержки языков.
Что такое «иллюзия оцифрованности»
Михеев подчеркнул, что даже активно используемые языки могут оставаться малоресурсными для ИИ из-за нехватки данных в машиночитаемом формате. Ключевая проблема — «иллюзия оцифрованности»: отсканированные книги и архивы доступны людям, но не подходят для обучения моделей. Среди других препятствий он назвал ограничения авторских прав, нехватку цифровых компетенций у носителей языков и недостаточное финансирование проектов по сохранению языкового наследия. Проект Яндекса «Языки народов России» направлен на расширение присутствия национальных языков в цифровой среде.
Опыт Эфиопии
Президент Университета Гамбела Дириба Этича Туджуба рассказал, что для сохранения языкового разнообразия важно не создавать новые ИИ-модели с нуля, а использовать существующие исследования, архивы и знания носителей. Университеты, по его словам, могут обрабатывать, валидировать и документировать ресурсы, необходимые для разработки ИИ. Сотрудники Университета Гамбела работают с 84 языками, более 25 из них уже оцифрованы и задокументированы. Ресурсы размещаются на национальной платформе и используются для языковых технологий, образовательных программ и мобильных приложений.
Опыт Мадагаскара
Генеральный директор Управления общественного радио и телевидения Мадагаскара Фестен Элизе Лемана отметил, что малоресурсные языки — это не всегда исчезающие языки или языки с небольшим числом носителей. Пример — малагасийский язык Мадагаскара. «Мы не пытаемся спасти исчезающие языки. Мы пытаемся, как минимум, избежать того, чтобы вполне себе живой и распространённый язык был плохо представлен в новом цифровом мире», — сказал он. Решение — оцифровка архивов аудио- и печатных текстов в единую базу данных. Это позволит развивать языковые ИИ-инструменты, автоматизировать расшифровку записей и сохранить особенности языка.
Что с безопасностью
Руководитель Агентства цифровой экосистемы Торгово-промышленной палаты Индонезии Фирли Ханггодо Ганиндуто обратил внимание, что способность ИИ общаться на местном языке не гарантирует безопасности и достоверности его ответов. Особенно уязвимы, по его мнению, пользователи малоресурсных языков — для них системы распознавания мошенничества и модерации контента работают менее эффективно.
Преподаватель Universitas Indonesia Деви Бахара Рахмавати подчеркнула, что развитие ИИ зависит не только от вычислительных мощностей и масштабных моделей, но и от понимания местных языков и культурного контекста.
Что с доменными именами
Советник директора по внешним коммуникациям Координационного центра доменов .RU/.РФ Михаил Анисимов рассказал о технической поддержке национальных языков в интернете. «Языки в интернете появляются в самых разных видах. Предыдущие спикеры в основном говорили о языке как о контенте. Однако язык проявляется ещё и в различных технических характеристиках, например в доменных именах. С 2010 года появилась возможность создавать адреса в интернете на нелатинских языках», — сказал он. Это расширило возможности использования национальных языков в доменных именах и электронной почте. Анисимов также отметил международное сотрудничество с ЮНЕСКО — сохранение языков в цифровой среде связано с решением технических задач, позволяющих использовать разные языки для общения и работы сервисов.
Коротко: главное
- Что такое «иллюзия оцифрованности»? — Данные есть, но не в машиночитаемом формате.
- Сколько языков оцифровал Университет Гамбела? — Более 25 из 84.
- Почему малагасийский язык малоресурсный? — Он живой, но плохо представлен в цифре.
- В чём риск для пользователей? — Системы защиты работают хуже.
- С какого года домены на нелатинских языках? — С 2010 года.
Резюме
Отсканированные книги и архивы не подходят для обучения ИИ — это «иллюзия оцифрованности».
Даже активно используемые языки остаются малоресурсными для ИИ из-за нехватки машиночитаемых данных.
Университет Гамбела оцифровал более 25 языков из 84 и разместил ресурсы на национальной платформе.
Пользователи малоресурсных языков уязвимы: системы распознавания мошенничества и модерации работают хуже.
С 2010 года появилась возможность создавать доменные имена на нелатинских языках.