Экспериментальный пайплайн на Luna 6 и Jev для агентного поиска

⚪ Вести с полей

Поделюсь небольшим моментом, который отметил в работе

Делаю один экспериментальный пайплайн, который в оригинале работал на luna-5.6 high. Это кастомная упряжка, реализующая агентный поиск по базе знаний.

Сделал на неё небольшой тестовый стенд: один срез базы знаний, один вопрос. Решил сделать микро-эвал.

Взял оригинальный пайплайн на луне 5.6

Добавил новую луну 6 на идентичном пайплайне.

И сделал экспериментальный модернизированный пайплайн с привлечением Jev там, где можно - он пока не отработал и слегка нестабильный, но мне было интересно прикинуть применимость. Все запуски делались с @3 семплингом. Цифры - в табличке!

▶ Что можно отметить: новая луна у меня не оказалась заметно быстрее. Скорее даже медленнее.

▶ Зато луна-6 заметно экономнее по токенам, она меньше генерирует - хотя пайплайн максимально рельсовый, хоть и агентный.

‼ Jev даёт колоссальное ускорение - в 2-3 РАЗА. Если грамотно его прикручивать, овчинка точно стоит выделки. Качество пока плавает, в том числе потому что у меня данные на русском, которые обрабатываются, а Jev не особо мульти-язычный.

Для себя я отметил, что класс таких моделей как Jev определённо стоит внимания. Буду применять.