Google сообщила о масштабной попытке дистилляции: Неизвестные написали десятки тысяч промптов Gemini для создания более дешёвой версии модели
Google сообщила, что неизвестные компании и исследовательские группы пытались выяснить характеристики модели Gemini, отправляя ей десятки тысяч запросов. По данным компании, в одном из случаев злоумышленники направили более 100 000 промптов, в том числе на разных языках, чтобы собрать ответы и использовать их для обучения более дешёвой копии модели.
В отчёте подразделения Google по анализу угроз подобные действия названы «извлечением модели» и квалифицированы как нарушение интеллектуальной собственности. Речь идёт о практике, которую в индустрии обычно называют дистилляцией. Она позволяет обучать новую модель не на исходных данных, а на ответах уже существующей системы.
Механизм дистилляции сравнительно прост. Если у разработчика нет ресурсов, сопоставимых с затратами на создание крупной языковой модели, он может систематически отправлять ей тщательно подобранные запросы, собирать пары «вопрос–ответ» и затем использовать их для обучения собственной, более компактной модели. Такая система не получает доступ к исходному коду или обучающим данным «родительской» модели, но постепенно начинает воспроизводить её поведенческие паттерны и стиль ответов.
Google утверждает, что атаки были направлены, в частности, на механизмы пошагового рассуждения, которые помогают модели структурировать сложные задачи. Компания заявила, что выявила кампанию с 100 000 запросов и усилила защиту Gemini, однако детали принятых мер раскрывать не стала.
Практика дистилляции широко применяется и внутри самих ИИ-компаний. С её помощью создаются более лёгкие и быстрые версии крупных моделей. OpenAI, Microsoft и другие участники рынка официально используют синтетические данные, полученные от более мощных систем, чтобы обучать компактные версии. Разница, по мнению компаний, заключается в наличии разрешения на такое использование.
Граница между легальной дистилляцией и копированием остаётся размытой. Ранее OpenAI обвиняла китайскую компанию DeepSeek в использовании аналогичных методов для улучшения собственных моделей. Ещё в 2023 году исследователи Стэнфорда продемонстрировали, что можно создать модель, близкую по поведению к ChatGPT, обучив её на десятках тысяч сгенерированных ответов при сравнительно низких затратах. Этот эксперимент показал, что возможности модели трудно защитить, если она доступна через API.