Django/LLM, плохой выбор первой free-модели
Одна из самых коварных ошибок в LLM-интеграции выглядит почти безобидно. Продукт получает список моделей от провайдера, находит первую бесплатную и делает ее дефолтной. Кажется, что это простой и разумный старт. На практике такая логика быстро превращает free-режим в случайный выбор, зависящий не от качества и стабильности, а от порядка элементов в каталоге.
В этом и проблема. Первая free-модель не обязательно живая, не обязательно быстрая, не обязательно пригодная для постоянного использования. Она просто первая в выдаче. А значит, продукт незаметно делегирует важное решение случайному списку провайдера. Для пользователя это выглядит как нормальная настройка по умолчанию, хотя внутри уже работает нестабильный дефолт.
Надежнее сначала построить слой отбора: очистить каталог, оставить рабочие free-варианты, сократить их до понятного набора и только потом выбирать модель по умолчанию. Именно в этой точке агрегатор перестает быть прямым прокси к каталогу и начинает вести себя как часть продукта.
Витрина проекта: AI Chat github
Проект: AI Chat
Stepik: AI на Django и Next II