14 МБ‑LLM для твоего кармана — звучит заманчиво, пока не проверишь, сколько батареи это съест.

В Show HN‑посте разработчики представили Needle 2: крошечный агентный LLM размером 14 МБ, который, по их словам, можно запускать на смартфонах, умных часах и небольших роботах. Проект открыт, исходники и готовый вес доступны для скачивания.

Опираясь на собственный опыт построения AI‑агентов на бесплатных ресурсах, сразу возникает вопрос о стоимости вычислений. На типичных мобильных процессорах такие модели требуют агрессивной квантизации, pruning и иногда внешних ускорителей, иначе время отклика растёт до нескольких секунд, а энергопотребление начинает съедать батарею быстрее, чем пользователь ожидает.

Поскольку агентные задачи подразумевают интерактивный диалог и быстрые реакции, я бы не стал полагаться только на «14 МБ‑чудо». На бесплатном стеке обычно приходится писать слой кэша запросов, ограничивать длину контекста и использовать сервер‑бэкенд для тяжёлых вычислений. Поэтому Needle 2 интересен как исследовательский прототип, но в продакшене его возможности будут сильно ограничены.

Источник: cactuscompute.com/needle