Потестил NCM, новую модель генерации, на новостях
Недавно Стэнфорд показал NCM, новый способ генерировать текст. Обычная модель пишет по одному токену, а NCM сразу целиком: сначала набросок, потом детали
По замерам авторов она пересказывает новости в 31 раз быстрее диффузионных моделей и не хуже их. Код и веса открыты, но задач пока немного: пересказ, перевод с немецкого, судоку, сказки и новостные фразы, всё на английском
Хотелось потыкать, так что взял пересказ и сравнил с Claude Haiku на 50 свежих новостях BBC. Пересказы проверяла модель-судья вслепую, не зная, где чей
У NCM ошибка в 49 пересказах из 50, у Haiku в 3. NCM путает имена и числа, а иногда переворачивает смысл. Uber выиграл суд, а у неё проиграл. Запрет порнографии с удушением у неё превратился в «will be made available»
Модель училась на BBC 2010-х, так что проверил и на тестовых новостях самих авторов: там 48 из 50
Почему у авторов «не хуже»: качество меряют метрикой ROUGE, она считает слова, совпавшие с эталоном, а смысл не проверяет. Пересказ про Uber с обратным смыслом получил 27,9 из 100, верный у Haiku 28,1. В среднем по 50 новостям 21,8 против 24,0