Activation Maximization: автоматизация промтинга для нейросетей

А как вам промтинг через Activation Maximization? Это про автоматизированный способ находить такие формулировки, которые меняют поведение модели точнее и быстрее.

Исследователи смотрят на то, какие нейроны активируются при выполнении разных задач, и используют эти активации, чтобы собрать промт, который жмёт на «правильные кнопки» внутри модели.

• Уже есть реальные кейсы: через Concept Activation Vectors (CAV) можно усиливать или ослаблять проявления конкретных свойств модели. Например, регулировать токсичность, менять тональность или уровень осторожности. Это используют для настройки безопасности и управляемости.

• В области компьютерного зрения Activation Maximization позволяет визуализировать, на какие образы откликаются разные нейроны. Это помогает понять, как именно модель «смотрит» на мир.

• В промт-инженерии автоматизация превращает бесконечный перебор слов в систематический процесс. Меньше хаотичных экспериментов - больше воспроизводимости.

• Метод активно используется в редтиминге: можно целенаправленно выводить модель из себя и проверять её на прочность, вместо ручных догадок.

• Исследования показали пределы эффективности: после определённого числа вариантов (например, 64) новые промты уже не дают прироста в точности. Это намекает на реальные границы управляемости.

• Activation Maximization помогает оптимизировать вычисления: анализируя активации, можно делать квантование и обрезку лишнего без потерь в качестве. На практике это ускоряет вывод и делает запуск моделей возможным даже на устройствах с ограниченными ресурсами.

Как видите, идеи о том, как лучше объясняться с LLM не продолжают иссякать.

Подписывайтесь на Telegram Сергей Булаев AI 🤖.