Как Google сделал умную модель для поиска, которая помещается в 200 МБ и работает прямо на ноутбуке
Google представил EmbeddingGemma - компактную модель для работы с текстами. Её задача - превращать слова и предложения в числовые векторы, то есть в «эмбеддинги». На основе этих векторов можно строить системы поиска, рекомендации и Retrieval-Augmented Generation. Обычно такие модели огромные и требуют облачных серверов. EmbeddingGemma стала исключением.
Что делает EmbeddingGemma особенной
- Компактность Размер модели меньше полугигабайта. Это позволяет работать локально без облака и интернет-подключения.
- Гибкость «матрёшки» EmbeddingGemma поддерживает разные размеры выходных векторов - от 768 до 128. Такая структура называется Matryoshka Representation Learning. Модель устроена как вложенные «куклы», каждая из которых самодостаточна. Можно быстро переключаться между точностью и скоростью без переобучения.
- Мультиязычность Поддержка более 100 языков делает модель универсальным инструментом для глобальных проектов.
- Безопасность Все данные остаются на устройстве. Это снижает риски утечек и делает EmbeddingGemma удобной для корпоративных сценариев.
Как использовать EmbeddingGemma под свои задачи
Базовая версия уже показывает высокое качество, но для узкой сферы вроде медицины или финансов лучше провести дообучение. Google подготовил гайд по работе с моделью через библиотеку Sentence Transformers.
Результаты EmbeddingGemma
Чтобы оценить качество модели эмбеддингов, обычно используют MTEB (Massive Text Embedding Benchmark) - крупнейший набор тестов, включающий десятки задач: поиск информации, классификация, кластеризация, semantic textual similarity и другие.
Базовые показатели
- Размер модели: 308M параметров.
- Сравнение по классу: среди моделей до 500M параметров EmbeddingGemma занимает лидирующие позиции, обгоняя многие более крупные варианты.
- Средние результаты на MTEB: EmbeddingGemma уверенно держит state of the art на задачах многоязычного поиска и семантического сопоставления.
Ключевой эффект от fine-tuning
Google показал, что дообучение EmbeddingGemma через Sentence Transformers на отраслевых данных даёт ощутимый прирост качества.
Пример: медицинский датасет MIRIAD
- Базовая EmbeddingGemma: 0.8340 (средний показатель на задачах поиска).
- Дообученная EmbeddingGemma: 0.8862.
- Для сравнения: более тяжёлая модель в 500M+ параметров остаётся на уровне 0.87.
Это значит, что компактная версия после дообучения не просто догоняет, а иногда и превосходит более крупные аналоги.
Как встроить ИИ в процесс, рабочие промпты и кейсы - подписывайтесь на мой ТГ-канал