Как ИИ делают лучше

В области ИИ есть два важных понятия. С одной стороны, оба описывают процесс улучшения ИИ, с другой стороны, преследуют разные цели. Эти понятия – «alignment» и «fine-tuning». Для удобства в этом посте я буду переводить «AI alignment» как «настройка ИИ», а «fine-tuning» как «дообучение».
И то, и другое, предполагает обретение ИИ новых навыков. Но в процессе дообучения его обучают для работы в новой области или для работы со специфическим набором данных. А в процессе настройки – быть безопасным, этичным и не нарушать законов. Сегодня коротко обсудим оба подхода и их пользу.

Мы уже касались этой темы в посте про адаптацию ИИ к новым данным. Это когда мы научили модель находить кошку на фотографиях, сделанных днем, а теперь на ночных фотографиях хотим научить ее делать то же самое. Адаптация к новым данным – часть дообучения.
Подходов и инструментов для дообучения есть великое множество, я не буду пытаться запихнуть все в один пост. Вместо этого мы постараемся получить общее понимание происходящего.
Я буду опираться на статью «The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities» («Исчерпывающее руководство по дообучению больших языковых моделей от основ до прорывов: всесторонний обзор технологий, научных работ, лучших практик, проблем и возможностей в прикладных исследованиях»). Это отличная работа, с которой можно начать погружение в область.
Да, дообучение применяется не только к большим языковым моделям, но мы сосредоточимся именно на них, иначе пост никогда не закончится.
Применительно к большим языковым моделям термин «дообучение» начал использоваться примерно в 2018 году. Тогда появились BERT и GPT – модели, достаточно большие и способные, чтобы их можно было сначала обучить на большом массиве данных, а потом немного усовершенствовать под конкретную задачу.
Обучение на большом массиве данных позволяет заложить в модель основы языка: его грамматические правила, устойчивые выражения, синтаксис. Это называется «предварительное обучение» или «предобучение» («pre-training»). Тексты для предобучения собираются по всему интернету: из статей, чатов и форумов, сообщений в социальных сетях, пиратских копий книг и так далее. Что там насобиралось, особенно не смотрят: объем текста слишком большой, чтобы его можно было проверить. Более ответственные разработчики стараются использовать открытые данные, которые можно найти и проверить. Менее ответственные закидывают в топку все, что под руку попадется, и в отдельных случаях еще и данные своих клиентов, причем не всегда явно спрашивая на то согласия (кто читает вообще все эти длинные лицензионные соглашения, написанные жутким канцеляритом?).

Дообучение проводится на наборе текстов поменьше. Этот набор уже, как правило, либо аккуратно очищен от мусора, либо специально составлен людьми, проверен и находится либо в открытом доступе, либо в собственности разработчика, если он не желает делиться конкурентными преимуществами. Качество набора данных для дообучения принципиально важно: чем оно выше, тем лучше модель будет работать, и наоборот.
Весь процесс работы с большими языковыми моделями авторы уложили в следующую схему.

На первом уровне сверху вниз представлены этапы работы (на схеме «измерения»):

В дообучение авторы включили и настройку (Alignment), которую мы с вами выделяем в самостоятельное направление. Это нормально: область развивается, многие понятия еще не устаканились. Одни авторы рассматривают настройку как самостоятельное направление, другие – как часть дообучения. И то, и другое вполне логично и имеет право на существование.
Дообучение проходит гораздо быстрее, чем предобучение, и требует куда меньших затрат. Однако при желании и от них можно избавиться, прибегнув к генерации, дополненной поиском (Retrieval-Augmented Generation, RAG). Здесь мы просто даем модели возможность проводить поиск в открытых источниках и самостоятельно собирать больше данных, чтобы лучше решить задачу. Иногда поиск осуществляется не по открытым источникам, а по заранее собранной базе данных: так у нас больше контроля за тем, какую информацию модель будет использовать.

Дообучение имеет смысл выбирать, если вы работаете в конкретной области, можете обучить модель на специально отобранном наборе данных, и этого надолго хватит. Например, если вы ищете опухоли на снимках молочных желез. Возможно, в будущем появятся более точные рентгеновские аппараты, и тогда вашу модель нужно будет дообучить на новой партии снимков. Но новые рентгеновские аппараты не появляются каждый месяц.
Если ваша область быстро меняется, лучше пользоваться генерацией, дополненной поиском. Например, если у вас чат-бот, который консультирует предпринимателей по правовым вопросам: здесь часто появляются новые программы поддержки или запрещающие законы, ваш чат-бот должен быть в курсе.
Обучение с использованием обратной связи от человека (Reinforcement Learning from Human Feedback, RLHF) тоже может быть использовано для дообучения модели. Здесь ключевой компонент – участие человека и его суждение о том, правильный ответ дает модель или нет. Этот подход часто не требует больших наборов данных и приносит хорошие результаты.
В главе 10 статьи есть набор полезных инструментов для дообучения с их кратким описанием.
Современные направления исследований включают

Настройка ИИ (в смысле этого поста, о котором мы договорились ранее – AI Alignment) – это новая область. По ней сейчас копится много материалов, и в прошлом посте мы одну из очень любопытных статей разбирали подробно.
Я нашла несколько неплохих обзорных публикаций, и сегодня буду использовать «AI Alignment: A Comprehensive Survey» («Настройка ИИ: всеобъемлющее исследование»).
Цель настройки ИИ – приведение его в соответствие с человеческими ценностями. ИИ – мощный инструмент, с использованием которого можно нанести немало вреда от создания фейковых новостей до детской порнографии. К сожалению, на темной стороне всегда может оказаться человек с нужными навыками, который создаст собственную нейросеть и натренирует ее для кражи персональных данных. Единственная защита в данном случае – знание. Понимание того, какие есть риски и как их можно снизить.
Распространение информации и вовлечение в разговор об ИИ большего числа людей – это задача из области ответственного подхода к ИИ в целом. Настройка является частью этой области и нацелена на то, чтобы уже существующие популярные нейросети, такие как GPT, Llama, Mistral, Gemini и другие, не могли быть использованы для кражи персональных данных. Или для любой другой атаки на людей.
Авторы статьи рассматривают предупреждающую настройку (forward alignment) и последующую настройку (backward alignment). Если кто-нибудь предложит более изящные варианты перевода, буду крайне признательна.
Предупреждающая настройка происходит в процессе обучения, последующая – это методы проверки того, насколько обучение прошло успешно.
Четыре ключевые цели настройки следующие:

Все вместе эти задачи образуют акроним RICE.
Надежность означает, что ИИ должен давать качественный ответ в разных условиях и быть устойчивым к непредвиденным сценариям. С точки зрения пользователя надежный ИИ

Можете накидать в комментариях, что для вас надежный ИИ.
Интерпретируемость означает, что за принятыми решениями и предлагаемыми рекомендациями ИИ стоит фактическая база. Эту базу можно извлечь и изучить, ИИ может объяснить ход своих мыслей.
Подконтрольность означает, что ИИ направляется человеком, и человек может оценивать и корректировать его действия на каждом этапе работы.
Этичность означает соблюдение моральных норм того общества, к которому принадлежит пользователь:

Единого определения настройки ИИ, как и единого перечня ее целей, нет, но RICE – это отличный вариант.
Обучение с использованием обратной связи, в том числе от человека, здесь тоже используется. И вообще используются многие методы, характерные для дообучения. Поэтому многие считают настройку частью дообучения: это технически близкие процессы.
Очень важной частью настройки является заимствованный из кибербезопасности «взлом» (jailbreaking) моделей с целью извлечь из них вредоносный контент (и проверить, соответственно, как они сопротивляются таким попыткам). Этот подход также иногда называется «red teaming» – тоже по аналогии с кибербезопасностью, где красные команды тестируют продукт на надежность, стараясь его сломать.

Мы тут пробежали по верхам, но, надеюсь, у вас сформировалось примерное представление о том, что представляет собой дообучение (fine-tuning) и настройка (AI alignment).
AI alignment – это одна из основных сфер интереса для меня. Я участвую в стартапе, который разрабатывает продукт для помощи разработчикам в создании человекоцентричных ИИ-решений. У себя в телеграме я пишу на эту тему (и на другие), так что за подробностями можно смело туда заходить.