Система оценки нейропереводов RATE от Яндекса
Исследователи Яндекса представили систему оценки нейропереводов RATE (Refined Assessment for Translation Evaluation), которая призвана сместить фокус с «переведено верно» на «переведено как человек». Так, например, в неформальном диалоге нейросеть может перевести «Sorry, my bad» как «Приношу извинения, это моя вина» вместо «Извини, ошибся». Пользователь заметит, что нейросеть выбрала излишне официальный тон, но существующие системы оценки перевода такие ошибки игнорируют. Новый метод помогает обращать внимание именно на это.
В отличие от других метрик, RATE оценивает перевод по трём главным для пользователя критериям: точность — верно ли передан смысл, естественность языка и соответствие стилю оригинала. Это позволяет использовать её для любых типов текстов: в новостях проверить точность передачи смысла, в постах социальных сетей— выявить чрезмерную формальность, а в художественном тексте — оценить стиль и плавность речи. При этом RATE не только отмечает наличие ошибки, но и оценивает её значимость — от небольших неточностей до сильных искажений, указывая разработчикам, в каком направлении двигаться для дальнейшего повышения качества перевода.
Разработка получила международное признание в академическом сообществе: статья о RATE была представлена на престижной конференции по машинному обучению EMNLP 2025, в которой участвовали также Microsoft Research, Google Research, OpenAI, Anthropic и другие бигтехи.
Подписывайтесь на Telegram Грокс.