Хочешь умный ответ? Крути педаль! (ну или ручку) 🦾🤖
Ребята из Squeez Labs создали проект CrankGPT — полностью оффлайновую ИИ-коробку, которая работает исключительно на ручной динамо-машине. Никаких розеток, облаков и даже аккумулятора.
Как устроен этот генератор мыслей и пота:
- Крутишь ручку динамо-машины.
- Запускается спрятанный внутри Raspberry Pi 5.
- Задаешь вопрос голосом.
Плата прямо на месте (локально!) распознает речь, прогоняет через компактную LLM и озвучивает ответ синтезатором речи.
Что под капотом по скорости:
- LFM2.5 (350M) — выдает бодрые ~49 токенов/сек.
- LFM2.5 (1.2B) и Gemma 3 (1B) — выдают около 14–15 токенов/сек (вполне комфортно для диалога).
- Попробовали запустить Qwen 3.5 (2B), но при 7.8 токенах/сек беседа уже напоминает разговор с очень задумчивым ленивцем.
Сфера применения не ограничивается простым голосовым помощником: на этой же шарманке генерировали небольшие картинки, писали стихи и даже просили ее кодить.
Самая мякотка — физическая обратная связь: Вы буквально рукой чувствуете, как нейросеть думает.
- В простое система потребляет ~4 Вт.
- При распознавании голоса — около 8 Вт.
- Когда подключается LLM и генерация голоса, аппетит подскакивает до ~15 Вт. В этот момент ручка становится ощутимо тяжелее. На пиковых нагрузках приходится преодолевать сопротивление в несколько килограммов просто ради того, чтобы ИИ успел договорить предложение!
Главная идея авторов (помимо прокачки бицепса) — заставить людей наглядно прочувствовать, сколько энергии жрут современные нейросети.
Если пересчитать вычисления тяжелых моделей уровня Kimi K3 на эту шарманку, крутить ручку пришлось бы часа три ради одного ответа. Так что цените свои токены — теперь понятно, сколько в них физического пота!
Больше новостей в телеграм-канале Quantum Drift