Django/LLM, polling списка моделей
Одна из проблем в LLM-агрегаторе начинается в момент, когда список моделей загружается только один раз. Пока пользователь не обновил страницу, интерфейс продолжает жить на старом слепке каталога. Для обычного справочника это терпимо. Для LLM-слоя нет, потому что набор рабочих free-моделей у провайдера меняется заметно быстрее.
В результате фронт показывает доступные варианты, которые уже могли исчезнуть или деградировать, а backend вынужден разруливать последствия устаревшего выбора. Это неприятная архитектурная зона, потому что проблема выглядит как накопление мелких несоответствий между тем, что видит пользователь, и тем, что реально доступно системе.
Polling удерживает frontend и backend в одном актуальном контуре. Список моделей обновляется в фоне, без ручной перезагрузки страницы, а интерфейс остается ближе к реальному состоянию провайдера.
Витрина проекта: AI Chat github
Проект: AI Chat
Stepik: AI на Django и Next II