Цифровое востоковедение: как ИВ РАН с Yandex Cloud открывает доступ к первоисточникам

Институт востоковедения РАН и Yandex Cloud создали AI-ассистента для работы с научными данными и платформу мониторинга китайских СМИ. Эти решения на базе AI ускоряют анализ первоисточников для исследователей в 6–8 раз.

В этой статье:

Работа с восточными рынками требует глубокого понимания контекста, языков и исторических связей. Но у российских исследователей и бизнеса практически нет доступа к первоисточникам — например, китайская внутренняя электронная периодика мало используется в научных и аналитических работах. Большинство информации приходит через англоязычные источники, что может искажать реальную картину событий.

Институт востоковедения РАН решает эту проблему с помощью двух разработок на платформе Yandex Cloud:

В статье рассказываем о разработке обоих решений.

СМИ Азии, Ближнего Востока и Африки публикуют тысячи статей каждый день. Это огромный массив информации, который труднодоступен для русскоязычных востоковедов, несмотря на владение ими восточными языками. Главные препятствия — языковой барьер и нехватка инструментов для сбора и анализа больших объёмов данных.

Русскоязычный доступ к текстовому корпусу на другом языке — это задача кросс-языкового информационного поиска. Разработкой в этой области занимаются уже много десятилетий. Долгое время основным решением было свести задачу к уже решённой, то есть к одноязычному поиску с помощью машинного перевода.

Для этого переводят либо пользовательские запросы на язык корпуса, либо весь корпус на язык пользователя. Генеративные модели и методы построения мультиязычных векторных моделей открыли новые возможности для таких задач.

Институт востоковедения РАН разработал на основе технологий Yandex Cloud две информационные системы с однотипной архитектурой. Первая обеспечивает поиск по электронным СМИ на китайском языке, вторая — предоставляет исследователям-востоковедам AI-ассистента.

В разработке системы поиска по китайским СМИ участвовали сотрудники Лаборатории цифровых исследований современного Востока ИВ РАН и Института Китая и современной Азии РАН. Технической реализацией занимались стажёры Yandex Cloud — студенты московских вузов (ВМК МГУ, ВШЭ), которые обучаются по специальности машинного обучения. На всех этапах сотрудники Yandex Cloud оказывали им техническую поддержку и продолжают консультировать по применению облачных инструментов.

RAG — широко распространённая и хорошо себя зарекомендовавшая технология. В ней языковая модель генерирует ответы на основе информации не только из самой генеративной сети, но и из дополнительных источников, найденных по запросу.

Задача AI-ассистента — превратить десятилетия накопленной экспертизы института в удобный цифровой инструмент. Система состоит из трёх ключевых компонентов. Векторизация данных и запросов обеспечивает семантический поиск — это позволяет преодолеть ограничения поиска по ключевым словам. Языковая модель FRED-T5-Summarizer сжимает длинные тексты в краткие выжимки, а YandexGPT (входит в состав Yandex AI Studio) формирует финальные ответы.

Благодаря такой архитектуре система анализирует информацию в контексте научной базы института. Главная информационная составляющая системы — специализированный корпус данных, собранный на основе исследований и публикаций института. База знаний охватывает шесть ключевых направлений:

Архитектура разработанных систем построена на современном стеке технологий. Бэкенд реализован на библиотеке FastAPI для создания быстрых веб-API на Python™. Он обеспечивает работу бэкенд-микросервиса поиска, который обрабатывает запросы исследователей и взаимодействует с базой знаний.

Для хранения и поиска информации использовали ChromaDB и Qdrant — векторные базы данных, позволяющие искать тексты по смысловому сходству. В текущей версии для векторизации применили несколько мультиязычных моделей. В итоге выбрали ту, которая показала в эксплуатации лучшие результаты.

В AI-ассистенте параллельно используется облачный интерфейс AI Assistant API с гибридной индексацией по эмбеддингам и ключевым словам. Гибридный подход к поиску стал ключевой особенностью архитектуры. Он объединяет векторный поиск (по смыслу) и лексический поиск с лемматизацией (по точному совпадению терминов). Комбинация методов существенно повышает точность: система находит и семантически близкие тексты, и документы с нужными формулировками.

YandexGPT генерирует финальные ответы на основе найденной информации. Интеграция с Yandex Cloud ML SDK позволяет эффективно управлять ресурсами и автоматически масштабировать систему при росте нагрузки.

Кроме того, интеграция даёт возможность использовать готовый стек объектов. Они отвечают за организацию диалога с пользователем: от файлового хранилища и его индекса до тредов.

Особую роль играет FRED-T5-Summarizer — модель для суммаризации русских текстов с около 1,74 млрд параметров. Она сжимает объёмные научные тексты в краткие выжимки по 40–60 токенов. Это критически важно для обработки длинных академических материалов и объединения результатов поиска в связный ответ.

Система развёрнута на платформе Yandex Cloud. В облаке работают две виртуальные машины — одна для базы данных, другая для веб-сервиса. Компоненты системы изолированы в Docker®-контейнерах. Фронтенд и бэкенд на Python запущены в отдельных контейнерах.

Архитектура спроектирована с учётом современных DevOps-практик. Обновление конфигураций максимально упрощено — достаточно изменить JSON-файлы без правки кода. Модели и поисковые индексы обновляются таким же способом. Ключи доступа и идентификаторы хранятся отдельно от кода для безопасности. Централизованное логирование упрощает отладку и мониторинг работы системы.

Такая архитектура позволяет исследователям института сосредоточиться на научной работе, а не на технической поддержке инфраструктуры. Система автоматически адаптируется к изменениям нагрузки и обновлениям базы знаний.

Обработка публикаций в китайских СМИ требует специального подхода. Система анализирует три четыре варианта китайского языка — континентальный, тайваньский, гонконгский и сингапурский. В первой версии система перед индексацией переводила тексты с китайского на английский через Yandex Translate, аналогичным образом обрабатывались и пользовательские запросы. Так решили, поскольку предполагалось, что обученные преимущественно на англоязычных текстах модели будут лучше справляться с запросами на английском языке.

Вместе с поиском по внутренней новостной базе данных система выполняет параллельный веб-поиск по китайским СМИ: собирает актуальные сообщения, переводит их, индексирует и передаёт на этап формирования ответа. Система хранит все тексты китайских СМИ, собранные во время обработки пользовательских запросов. Благодаря этому исследователи могут проводить семантический поиск в большом архиве новостей.

Прямая работа с первоисточниками принципиально меняет исследовательский процесс. Вместо англоязычных интерпретаций западных СМИ учёные получают доступ к материалам китайских источников, переведённым напрямую с китайского. Взаимодействие с исследователями происходит через русскоязычный интерфейс и запросы на русском языке.

Система развёрнута и проходит пилотное тестирование. База знаний AI-ассистента уже содержит более 1,5 млн документов по всем направлениям востоковедения. Система способна обрабатывать до 1000 источников в день, в то время как ранее исследователи успевали проанализировать вручную не более 8–10. В экспериментальной версии для анализа китайских СМИ используют несколько тысяч новостных текстов, но этого мало для промышленного использования.

Институт активно наращивает базу данных с целью тысячекратного увеличения. Главная задача на этот год — протестировать производительность и получить обратную связь от расширенной аудитории пользователей. Система тестирует автономное формирование русскоязычных ежедневных дайджестов по различным тематикам: от политики до экономики.

Институт планирует существенно расширить языковую поддержку системы. К китайскому добавят японский, арабский, персидский, иврит, турецкий, индонезийский, вьетнамский, корейский, монгольский и казахский. Это откроет исследователям доступ к первоисточникам из разных стран Азии, Ближнего Востока и Африки.

Важным этапом станет создание масштабного корпуса специализированной востоковедческой литературы. В него войдут научные монографии, статьи, сборники и первоисточники — десятки тысяч страниц академических текстов с метаданными и разметкой для обработки AI. Это позволит системе перейти от простых справок к глубокой аналитике. Исследователи получат аргументированные ответы со ссылками на источники и точными научными концепциями.

В долгосрочной перспективе институт видит переход к принципиально новым режимам взаимодействия исследователей и AI. Система будет заранее анализировать возможные направления научного поиска, помогая учёным сфокусироваться на перспективных гипотезах.

Опыт реализации проекта будет обобщён в академических публикациях этого года. Технологии Yandex Cloud и методология создания AI-ассистента войдут в совместные статьи для рецензируемых журналов ВАК и изданий из «белого списка».

Проект AI-ассистента демонстрирует, как академическая наука может эффективно использовать современные облачные технологии. Десятилетия регионоведческой экспертизы Института востоковедения РАН превращаются в цифровой инструмент, доступ к которому расширяется по мере завершения тестирования.

Облачная архитектура на платформе Yandex Cloud обеспечивает надёжную работу системы. Она автоматически адаптируется к обновлениям базы данных и индексов, масштабируется под нагрузку и восстанавливается при сбоях. Это позволяет исследователям сосредоточиться на научной работе, а не на технической поддержке инфраструктуры.

В этом году институт тестирует систему на расширенной аудитории — учёных, аналитиках, журналистах, экспертах по Востоку. Первая независимая обратная связь поможет доработать систему под реальные потребности исследователей.

Технологическая ниша межъязыкового информационного поиска для русского и восточных языков пока остаётся свободной. Специализированное решение Института востоковедения РАН и Yandex Cloud закроет этот пробел.

Хотите узнать, как AI и облачные технологии меняют образование, культуру и здравоохранение? Подписывайтесь на телеграм-канал Центра технологий для общества Yandex Cloud.

Другие статьи о социально значимых проектах: