Недавно Google выпустила новую модель Gemini Pro 1.5, которая основана на архитектуре Mixture Of Experts.
Модель Gemini Pro 1.5 обладает впечатляющим контекстным окном размером в 1 миллион, что значительно превосходит GPT-4 с его 125 тысячами и Claude 2.1 с 200 тысячами.
Но самым интересным является то, что модель построена на архитектуре Mixture of Experts (MoE).
Этот метод уже продемонстрировал свою эффективность в проекте Mixtral. Путем объединения 8 сетей Mixtral7B удалось достичь результатов, близких к GPT-4, которая считается стандартом качества в настоящее время.
В отличие от использования одной большой нейронной сети, MoE использует специализированные нейронные сети-эксперты для обработки запросов, где каждый эксперт обучен для решения конкретных и специализированных задач.
Такой подход позволяет значительно увеличить скорость и повысить качество обработки запросов.
Архитектура MoE
• Получение запроса
Этап начального взаимодействия, на котором система принимает и анализирует поступающий запрос.
• Гейтинг
На этом этапе система определяет, какому эксперту следует направить запрос, исходя из его специализации и сферы знаний.
• Обработка запроса экспертом
Выбранный эксперт обрабатывает запрос, используя свои уникальные знания и навыки для достижения оптимального результата.
• Агрегация результата
На заключительном этапе результаты работы всех экспертов сливаются в один качественно сформированный ответ для представления пользователю.
Кстати, в нашем TG-боте тоже есть эта модель, затестить *тут*
Чат-бот функционирует прямо в TG и для оплаты не нужна зарубежная карта!Из интересного функционала - бот может сгенерировать ответ на ваш запрос, даже если он будет записан в формате голосового сообщения!
Подписывайтесь на наш VC и другие ресурсы, чтобы быть в курсе важных и интересных новостей про AI: