Искусственный интеллект для локализации: как Alconost разрабатывает свой продукт в потоке слухов и хайпа

Искусственный интеллект и его применение — одна из самых нашумевших тем в сфере IT. Многие пытаются примерить искусственный интеллект на себя, представляя, что это чуть ли не панацея, «таблетка от всего». Вокруг темы много разговоров, хайпа, прогнозов и даже фантазий о том, что будет дальше. Немало и путаницы, связанной с самим термином «искусственный интеллект»: часто им называют простую автоматизацию.

Не тренда или хайпа, а дела ради, поговорили об искусственном интеллекте с тимлидом по локализации в Alconost Стасом Харевичем.

Стас больше 10 лет помогает IT-компаниям выходить с новыми продуктами на зарубежные рынки, а ещё — пилотирует новый сервис Alconost с применением искусственного интеллекта: доменно-адаптивный машинный перевод с последующей вычиткой. Доменно-адаптивный машинный перевод, выражаясь простыми словами, это перевод, выполненный «умной» машиной, которая обучена на текстах выбранной тематики (домена). Обсудили со Стасом, чем такое решение отличается от традиционного подхода к локализации, как обучить машину и добиться высокого качества и какие есть минусы у искусственного интеллекта.

Стас, привет! Ты занимаешься внедрением искусственного интеллекта в проекты по локализации, можно так сказать? Расскажи, пожалуйста, «для чайников», что такое искусственный интеллект и с чем его едят?

Привет! Ты знаешь, я думаю, вряд ли кто-то может компетентно рассказать прямо вот обо всех сферах применения искусственного интеллекта. Не зря ведь аналитики данных говорят, что чем специфичнее пул данных и область применения решения, тем оно точнее. Но с удовольствием расскажу о применении искусственного интеллекта в сфере локализации.

Первым делом я бы упомянул PEMT (post edited machine translation) — машинный перевод с последующим редактированием. Есть “старые” движки машинного перевода, алгоритм которых основан на правилах и статистических данных, когда машина делает перевод без оглядки на предыдущие или текущие переводы и тематическую специализацию текста. Такой перевод нужно существенно редактировать с помощью профессиональных лингвистов.

NMT (neural machine translation, нейронный машинный перевод) — это уже “новое” решение. Применение нейронных сетей позволило значительно улучшить качество перевода, ведь главное преимущество нейронных сетей — их обучаемость. Поэтому решение, над которым мы работаем сейчас, — это доменно-адаптивный нейронный машинный перевод, который учитывает тематику текста, глоссарий и память предыдущих переводов.

Интересно. Ты хочешь сказать, что на рынке уже есть решение по локализации с использованием нейронного машинного перевода? В чем тогда ценность решения, над которым вы работаете? Может, не нужно изобретать велосипед?

Все верно, такие решения есть. Есть движки машинного перевода, которыми компании могут пользоваться за разовый платеж или по подписке. И их немало. К примеру, я достаточно тесно работал с как минимум двумя движками от Google: Google AutoML и GNMT (Google Neural Machine Translation). И на рынке много альтернатив, к примеру, Watson Language Translator от IBM и нейросеть от Yandex. Дело в том, что некоторые компании предлагают стоковое решение, то есть ты платишь за подписку — и просто используешь движок. Поставщики стоковых решений заявляют, что их движки обучены на огромном массиве данных и, соответственно, выдают высокое качество.

Но правда в том, что на практике некоторые движки отлично работают только с определенными языковыми парами, а для других — качество страдает, особенно если речь идет о нишевых темах, таких как игры, к примеру. Кастомизированное решение, в отличие от стокового, позволяет дообучить машину на своем специализированном массиве данных. И это как раз то решение, над которым мы в Alconost сейчас работаем.

А почему вы думаете, что у вас получится лучше, чем у других компаний? К примеру, почему Google, со всеми их возможностями, не превратили Google Translate во что-то подобное? Я к тому, что у них много программистов, специалистов по данным, самих данных и прочих ресурсов. Но профессиональные компании приходят за локализацией к вам, а не в Google Translate…

Во-первых, по ряду достаточно общих тем и некоторым языковым парам Google Translate, на самом деле, неплохо работает. Но в чем наш конек — так это, во-первых, в опыте нишевого перевода на IT-тематику на 100+ языков. Мы локализовали несколько тысяч проектов за время существования Alconost. И у нас есть свои «большие данные», на которых можно дообучить машину. Кроме того, у нас достаточно данных для того, чтобы адаптировать перевод даже под конкретные жанры игр: скажем, под логические игры, игры-симуляторы или файтинги.

А еще есть облачные платформы по локализации с открытыми данными. К примеру, на Crowdin и GitLocalize переводчики и менеджеры по локализации работают над проектами и обмениваются комментариями с клиентами в режиме реального времени. Глоссарии и память переводов, применяемые на этих платформах в рамках одного проекта, технически могут использоваться и другими проектами тоже. И мы представляем, как структурировать эти данные и чему конкретно нужно дообучить движок машинного перевода для каждого проекта.

По сути, это составляющая науки о данных — структурирование и категоризация релевантного пула данных для дообучения машины. Это главная ценность нашего решения по локализации, которое, по сути, получается очень нишевым, а за счет этого — точным и качественным.

Во-вторых, у нас есть своя платформа человеческого перевода, она называется Nitro. Там клиенты сами отправляют на перевод короткие тексты — и получают готовый результат в течение 2–24 часов. Интерфейс и пользовательский опыт Nitro проверен годами, и мы постоянно дорабатываем продукт. Вот недавно, к примеру, открыли доступ к Nitro API — теперь компании, у которых много задач, могут не тратить время на отправку заказа через интерфейс Nitro, а получать перевод через Nitro API прямо в свою систему управления контентом. То есть, Nitro — потенциальная клиентская оболочка для обработки заказов по машинному переводу. Ее нужно только синхронизировать с кастомным движком машинного перевода.

А расскажи, пожалуйста, как вы справляетесь именно с технической стороной вопроса? Вы же переводчики, не технари. А задача «дообучить машину» звучит по-технарски и достаточно амбициозно...

Вообще-то мы как раз технари. Alconost как компания была основана разработчиками и для разработчиков. У нас много программистов и в команде (включая нашего CEO и фаундера), и на аутсорсе. Как-то так сложилось, что у остальных ребят тоже достаточно сильный технический бэкграунд и эдакий стартапный дух. Мы любим придумывать различные кастомные интеграции и решения, которые упрощают работу над проектами. И у нас ведь есть два своих продукта, которые мы развиваем, я упоминал их уже: Nitro и GitLocalize.

А если ближе к теме машинного перевода, то мы даже обсуждали такой сценарий, по которому мы приобретаем движок, хостим и дообучаем его на данных уже у себя, на своем hardware. Конечно, для этого нашей команде понадобятся еще как минимум ответственный программист и специалист по данным, а на проектах — инженер по локализации. Но мы технически хорошо представляем себе эту задачу.

Понятно, основательный подход. Но все-таки почему компании будут заказывать у вас именно машинный перевод, а не локализацию по старинке, человеческим ресурсом? Планируете как-то бороться с недоверием к машинному переводу? Я к тому, что у профессиональных компаний может быть устойчивая ассоциация, прости за повторение, с тем же Google Translate.

Большинство клиентов заинтересованы в скорости и качестве. А как мы это делаем — интересует меньшинство. То есть в первую очередь речь идет об оптимизации нашей внутренней кухни.

Я уже рассказал о нашем подходе к дообучению движка машинного перевода: у нас огромный пул данных, мы используем словари, память перевода, стайлгайды. Поэтому мы оптимистичны по поводу ожидаемого качества, иначе бы мы за это дело не брались — зачем портить то, что уже отлично работает? В любом случае, мы будем предлагать клиентам делать редактуру нашего машинного перевода, поэтому качество не будет никак страдать.

А вот скорость… Вот представь, если ты можешь получить даже в сыром виде локализованные игровые тексты на 100 языках, скажем, на следующий день, разве это не круто? Конечно, еще уйдет время на редактуру, если она понадобится клиенту. Но машинный перевод в разы ускоряет весь проект. А кто откажется получить готовый результат в несколько раз быстрее, не потеряв в качестве?

А вот по поводу редактирования машинного перевода, не получится ли так, что «качество» как раз и окажется узким местом?

В общем-то, у нас уже есть опыт в редактировании машинного перевода. У нас было несколько крупных проектов такого плана, и есть отдельные процессы редактирования, тестирования локализации и оценки качества. Но процесс редактирования машинного перевода отличается от стандартного процесса локализации. Тут скорее вопрос в качестве исходника. Разные машины переводят по-разному, поэтому клиенты приходят с машинным переводом разного уровня. Мы предварительно тестируем, измеряем качество. И если мы хотим получить качественные локализованные тексты, нужны глоссарий, бриф по локализации, какие-то примеры уже выполненных переводов, стайлгайд. В целом, это атрибуты любого профессионального проекта по локализации. И когда мы редактируем тексты в облачной платформе, мы автоматически добавляем в проект все эти исходные данные и потом используем их в работе. Так что в целом — да, мы уверены в качестве.

Еще одна неопределенная переменная — точные сроки. Машине нужно будет время на дообучение, и пока сложно сказать, сколько времени понадобится на каждый проект. Я думаю, первые проекты мы будет реализовывать дольше, чтобы отладить алгоритм категоризации данных.

А если говорить о сроках воплощения вашего решения, можешь назвать их хотя бы ориентировочно?

Думаю, в 2022 году у нас уже будет полное решение по кастомизированному машинному переводу. Это будет решение для английского плюс другого языка, то есть когда мы переводим с одного (английского) языка на все другие языки. Мы работаем по такому принципу уже много лет и видим, что именно такой подход обеспечивает последовательность в переводе и, в конечном итоге, его качество.

Ты видишь какие-то новые ниши, которые открывает решение доменно-адаптивного нейронного машинного перевода?

Для нас как для компании это оптимизация рабочего времени и трудозатрат на перевод, но это внутренняя кухня. А вот по поводу новых ниш — смотри: поскольку перевод будет делаться гораздо быстрее и стоить дешевле полностью «человеческого», компании смогут переводить больше. Например, может стать целесообразным локализовывать контент, который раньше переводили не все, не всегда или не в полном объеме. Скажем, некоторые компании, такие как Booking или Airbnb, переводят отзывы клиентов на разные языки. Почему бы не реализовать это для других приложений?

А еще сейчас очень популярны технологии текст-майнинга, майнинга изображений и видео для построения аналитики и предсказаний об аудитории. Тут тоже может помочь машинный перевод. Скажем, раньше компьютерные лингвисты анализировали отзывы пользователей для определения тона, эмоциональной окраски, настроения. Сейчас с этой работой прекрасно справятся машины. То есть такой перевод может использоваться для получения данных для построения других моделей с использованием искусственного интеллекта. Я действительно думаю, что мы знаем еще не обо всех таких возможностях.

Очень интересно, Стас. Ну, и напоследок футуристический вопрос из разряда гадания на кофейной гуще: ты веришь, что когда-нибудь машины будут переводить круче, чем человек?

На самом деле, я думаю, такие сферы в переводе, где машины покажут себя лучше человека, действительно есть. К примеру, это тексты для поисковой оптимизации в магазинах приложений. Часто клиенты дают нам ключевые слова, которые нужно использовать как глоссарий для создания описания игры или приложения. То же самое работает при локализации рекламных текстов для Google Ads: часто в заголовок нужно включить определенные словосочетания. И эти словосочетания содержат грамматические ошибки или описки. Но они частотные, поэтому клиенту нужны именно эти слова в тексте. Опытный переводчик, как правило, негативно реагирует на такую задачу «с ошибками». А вот машина здесь сработает идеально, как я вижу.

Еще доменно-адаптивный нейронный машинный перевод классно справится с переводом справочной документации или материалов для корпоративных вики-систем. Это, как правило, однотипные по структуре и языковым конструкциям задачи, где в приоритете точность и адекватность перевода, а не его красочность и образность.

Но ведь главный вопрос, как я уже сказал, в том, как обучена машина: на каких данных, глоссариях и правилах. А их составление — уже задача для человека. В любом случае, получается, без человека никак.