Любопытное пополнение в языковых моделях. Phi-4 с очень приличными характеристиками.
Так вот Microsoft представила новую языковую модель Phi-4, построенную на архитектуре с 14 миллиардами параметров. Модель нацелена на однооборотные (single-turn) запросы и ставит во главу угла качество ответов в STEM-дисциплинах (наука, технология, инженерия, математика), одновременно превосходя предыдущие решения, включая GPT-4o, по показателям качества.
Главная особенность Phi-4 заключается в том, что она создана с использованием высококачественных, синтетических данных, сформированных с помощью многоагентных рабочих процессов и механизмов саморедактирования. Это позволяет модели глубже понимать задачи и более точно отвечать на сложные вопросы.
Ключевые аспекты Phi-4:
- 14B параметров: Средний размер параметров, оптимизированный под однопроходные запросы и инструктаж.
- Многоагентные, саморедактурные сценарии: Использование наборов агентов с разными специализациями, которые генерируют, анализируют и улучшают данные, обеспечивая более высокий уровень качества обучающего материала.
- Улучшенные методы обучения (RS + DPO): Применение современных техник улучшения данных и оптимизации модели способствует уменьшению галлюцинаций и повышению точности ответов.
- Превосходит GPT-4o по ключевым STEM-бенчмаркам: Более высокие результаты в GPQA и MATH демонстрируют улучшенную математическую и логическую точность.
- Обгоняет Qwen-2.5-14B-Instruction: Phi-4 превосходит конкурирующую модель в 9 из 12 тестов.
- Лучший результат на HumanEval и HumanEval+: Phi-4 становится лидером среди моделей с открытыми весами по этим метрикам.
- Лицензирование и доступность: Модель будет доступна по лицензии Microsoft Research (MSRLA), а выход на Hugging Face ожидается на следующей неделе.
Ограничения:
- Фактические галлюцинации: Иногда модель может выдавать недостоверную информацию.
- Строгое следование инструкциям: Может приводить к чересчур формализованным ответам.
- Многословные реакции: Цепочки мыслей в обучающих данных склоняют модель к более развернутым ответам.
Phi-4 – хорший шаг вперёд в области LLM, ориентированный на глубокую проработку STEM-запросов, улучшенную точность и качество ответов. Это прям новогодний подарок разработчикам и исследователям.
Новая модель, которая может стать инструментом для решения сложных интеллектуальных задач.
Человеку приготовиться - @HumanReadyTech