Project Indus: как Tech Mahindra убирает налог на язык
Tech Mahindra представила Project Indus - языковую модель, которая решает конкретную финансовую проблему индийского рынка. Пока весь мир гонится за универсальностью, разработчики из Makers Lab пошли другим путем. Они создали инструмент, чтобы индийский бизнес перестал переплачивать за использование западных нейросетей.
И проблема популярных моделей для Индии кроется в их архитектуре: они оптимизированы под английский язык и латиницу.
Почему хинди стоит дороже английского
Когда стандартный токенизатор обрабатывает слово на хинди, он часто не видит единицу смысла. Алгоритм дробит слово на три-четыре фрагмента, потому что не понимает структуру языков деванагари. Так как тарификация API напрямую зависит от количества токенов, обработка текста на локальных языках обходится компаниям в разы дороже. Это явление в индустрии называют "налогом на язык", и именно его устраняет Indus.
Инженеры пересобрали токенизатор с нуля. Теперь он корректно кодирует информацию с высокой плотностью, не раздувая искусственно объем запроса.
На на платформе Syntx - вы можете пользоваться самыми современными нейросетями без каких-либо ограничений. Попробуйте! Я и сам ей активно пользуюсь.
Технические характеристики Project Indus
Разработчики сделали ставку на компактность и качество данных, а не на гигантское количество параметров. Основные вводные выглядят так:
- Архитектура: Модель имеет 7 миллиардов параметров (7B). Это позволяет запускать её на локальных серверах заказчика, что критично для банков и госсектора, которым запрещено выгружать данные в публичное облако.
- Датасет: Объем обучающей выборки составил 1,17 миллиарда токенов. Команде пришлось собирать данные вручную, так как в открытом интернете качественного контента на локальных наречиях катастрофически мало.
- Охват: Помимо литературного хинди, модель поддерживает 37 диалектов, включая такие распространенные, как бходжпури и майтхили.
Indus in a Box
Технология продается не как API в облаке, а как коробочное решение "Indus in a Box". Это позволяет интегрировать ИИ глубоко в инфраструктуру предприятия.
Основной кейс, на который целятся разработчики - это колл-центры. Типичная ситуация для аграрной страны с множеством языков: фермер звонит в банк, чтобы узнать условия кредита, но говорит на диалекте своей деревни. Оператор в городе его просто не понимает. Раньше этот клиент был потерян.
Indus работает как мгновенный переводчик-посредник. Система на лету переводит диалект фермера в стандартный хинди или английский для оператора, а ответ сотрудника конвертирует обратно в диалект. При этом задержка минимальна, а стоимость транзакции в разы ниже, чем при использовании универсальных переводчиков от Google или Microsoft.