Награждение моделей

И раз уж мы заговорили про награждение моделей-это один из самых сложных механизмов при обучении, вы сами видели что недавно было с шизо-версий gpt-4o – правильно научиться «награждать» модель за правильные действия, это сложно – одна ошибка и вся тренировка прошла зря, а это ощутимые потери

Недавно, на эту же тему (RL) писал пост обзорщик моделей DeepSeek, вот тут

К чему я – наткнулся на статью, которая пытается понять а как же наш мозг «эффективно награждает» за правильные действия человека и сохраняет концепции; это почти что готовый список правил, которые если правильно «скопировать», можно использовать в машинном обучении

Если перефразировать статью, то получился такой список правил (примеры выдуманы мной), по которым мозг эффективно запоминает/обновляет концепции:

1. Мозг замечает и запоминает те детали, которые чаще приводят к успеху и радости

Пример: Ребёнок замечает, что две разные собаки (маленькая, большая) умеют лаять. Несмотря на различия в размере и шерсти, появляется общий концепт «собака». Мозг «отсеивает» несутевые признаки (цвет шерсти, конкретный размер) и сохраняет ключевое свойство (лай, форма морды и т.д.).

2. Мозг объединяет похожие стимулы, если они дают одинаковую награду

Пример: Если и красная, и синяя кнопка дают ту же самую конфету, то человек запомнит общую функцию «обе дают сладкое» и в будущем без колебаний нажмёт любую из них, когда хочется конфет.

3. Чем чаще концепт приносит успех, тем быстрее и проще мозг его применяет.

Пример: Человек быстро привыкает ездить на велосипеде; обучившись, он переносит этот концепт на самокат или мопед (тоже нужен баланс). Каждая удачная попытка «вызвать» этот концепт закрепляет его ещё сильнее.

4. Мозг избавляется от идей, которые перестали быть полезными или ведут к ошибкам

Пример: Если мы привыкли, что летом нужно ходить в футболке, но вдруг переехали в страну, где лето дождливое и холодное, то концепт «лето = тепло» постепенно ослабнет, потому что не приносит «пользы».

5. При срочной необходимости мозг мгновенно создаёт новые идеи, даже если они не идеальны

Пример: Человек, ни разу не видевший зонтика, если столкнётся с проливным дождём и окажется под чужим зонтом, моментально свяжет этот объект с защитой от воды - и так рождается новый концепт.

6. Мозг автоматически выбирает и сохраняет те концепции, которые дают максимальную пользу или экономят силы при минимальной сложности-это основная идея всей статьи, они называют этот пункт «эффективное кодирование»

Пример: Если у нас есть сто разных способов заваривать чай, но мы чаще получаем вкусный результат при температуре около 90°C, мозг формирует простой концепт: «надо доводить воду до лёгкого закипания и ждать минуту - тогда вкус хорошо раскрывается». Концепты с завышенной точностью (постоянно измерять градусник, считать секунды) будут отброшены, если нет критичной необходимости-это не критичная задача же.

7. Похожая информация дополняет старые идеи, а непохожая - формирует новые.

Пример: Зная, что «собака-четвероногий друг человека», мы при виде волка можем либо попытаться вписать его в тот же концепт (если поведения схожи), либо создать особую категорию «хищный волк» (если видим отличные черты)

А нам остается только ждать пока это всё кто-то закодит и протестирует ☕

А еще, наверное, этот же список можно использовать в учебе, чтобы лучше составлять программу обучения для кожаных

Подписывайтесь на Telegram-канал Denis Sexy IT 🤖.