Подборка новых исследований
✦ Sakana AI: Эволюционный алгоритм для объединения и обучения ИИ
Метод M2N2 (Model Merging of Natural Niches) — концепция развития ИИ, как экосистема моделей и включает конкуренцию. Использует динамические границы слияния (меняя фрагменты параметров подобно ДНК). В процессе обучения модели конкурируют за данные, что способствует специализации. Слияние случайных сетей дало классификатор MNIST, быстрее и дешевле известных методов. Экосистема специализированных моделей выглядит перспективно.
✦ Форматирование кода увеличивает стоимость работы ИИ
Исследование Monash University и Singapore Management University. Форматирование (отступы, пробелы, переносы) не помогает LLM понимать код. Упрощение кода экономит до 24,5% токенов (для Java, C++, C# до 42%, для Python до 6.5%). Точность больших моделей почти не изменилась, малые показали незначительное снижение. Исследователи разработали инструмент для преобразования кода.
✦ Jet-Nemotron: Новая архитектура ИИ ускоряет генерацию в 53 раза
NVIDIA представила новый метод Post Neural Architecture Search (PostNAS). Скорость генерации текста выросла в 53.6 раза на GPU H100 при длине контекста 256K. Используется модель Qwen2.5 с замороженными MLP-слоями для сохранения интеллекта. Модель превзошла Qwen3, Gemma3 и Llama3.2 по точности на MMLU-Pro. Модель тестировали на задачах: математика, код, здравый смысл, поиск. Подход упрощает создание эффективных моделей для исследователей.
Подписывайтесь на Telegram EFEMERA: AI news.