Как я собрал личного ИИ-агента на микрокомпьютере за 40 000 ₽

У меня сеть VR-локаций в 34 странах, и по логике мне полагается заниматься операционкой, а не паять железки. Но вечерами я разбираюсь с ИИ — просто потому что интересно. Это хобби, которое началось с вопроса про робота и закончилось коробочкой на столе, где живет агент с собственной памятью. Рассказываю что получилось, что сломалось и сколько это стоило.

У меня в Москве есть парк роботов — пять-шесть машин под разные задачи. Кто-то мог видеть нашего робота на форуме во Владивостоке: он бегал по площадке в красной шапке, и про него тогда много писали.

Три месяца назад вышла новая модель робота, и я полез в нее разбираться. Начал делать обзор, копаться в характеристиках и задал нейросети вопрос, который казался пустяковым: чем базовая версия отличается от образовательной?

Ответ был скучным ровно до последнего слова. Отличий почти нет, кроме одного: в образовательной стоит отдельный микрокомпьютер для вычислений. На нем можно программировать и писать свой софт.

Я зацепился за это слово и пошел разбираться дальше. И выяснилось, что существует целый класс устройств, о котором я знал краем уха, но никогда не вникал: небольшие портативные компьютеры, заточенные под локальные ИИ-вычисления. Не серверная стойка, не облако — коробочка, которая помещается на ладони.

Я купил себе такой микрокомпьютер примерно за 40 000 ₽.

Сразу оговорюсь, чтобы не создавать ложных ожиданий: это далеко не топовая модель. Нижний класс по верхней планке. Есть дешевле — за 15–20 тысяч. Есть заметно дороже — от ста тысяч и выше. Я взял середину нижнего сегмента, чтобы поиграться и понять, стоит ли вообще лезть в эту тему.

Сейчас эта коробочка стоит у меня в офисе, подключена к интернету и работает круглосуточно. Изначально я покупал ее, чтобы программировать робота. Но пока она ехала, вышел проект, который развернул всю затею в другую сторону.

Тут нужно короткое отступление, иначе дальше будет непонятно.

До появления агентов работа с нейросетью выглядела так: заходишь в чат, задаешь вопрос, получаешь ответ, уходишь. Завтра приходишь снова — и ты для нее новый человек. Она не помнит, кто ты, чем занимаешься, что вы обсуждали вчера.

Агент устроен иначе. Технически это та же языковая модель, но с тремя добавками, которые меняют все:

Память. Он помнит, кто вы, какие у вас проекты, кто ваши коллеги, что вам нравится в результатах, а что вы забраковали.

Доступ к инструментам. Командная строка, поиск, файлы, ваши сервисы. Он не советует, что сделать, — он идет и делает.

Работа по расписанию. Он может действовать без вашего запроса: раз в неделю проверять новости, после каждой встречи забирать запись и складывать summary в нужный чат.

Своего агента я назвал Гермесом. Он живет на той самой коробочке за 40 тысяч.

Общаюсь я с ним через Telegram — это оказалось удобнее всего. Есть приложение для компьютера, есть командная строка, но в мессенджере просто привычнее: написал с телефона в пробке, получил ответ.

Однажды я попросил его представиться — и он выдал примерно следующее. Он не чат-бот, а цифровой сотрудник, который живет на компьютере в серверной. Умеет писать код, работать с документами, читать таблицы и PDF, делать презентации, строить графики. Учится на ходу и с каждым днем становится полезнее именно под мои задачи. Сам создает себе навыки. Работает по расписанию. Может делегировать задачи субагентам: один пишет тексты, другой рисует картинки.

В конце он добавил, что стоит 0 долларов в час после настройки. Тут он поскромничал — стоит дороже.

Из реального применения: я прошу его разобрать мои звонки за неделю. Он подключается к сервису с записями встреч, вытаскивает список, сводит ключевые тезисы и задачи. Могу попросить озвучить это голосом — получаю аудиопересказ, который слушаю за рулем вместо чтения.

Самое ценное, что я вынес из этой возни, — идея роутинга.

Многие ищут швейцарский нож: одну нейросеть, которая умеет все. Так не работает. Модели развиваются неравномерно, и у каждой своя сильная сторона. Одна лучше пишет тексты. Другая рисует картинки. Третья дает доступ к самым свежим новостям. Четвертая отлично ориентируется в китайском рынке, где западные модели откровенно плавают.

Живой пример. Мне нужно было найти в Гуанчжоу банк с хорошим брендингом. Западная нейросеть на этом запросе просто сломалась — она плохо ориентируется в китайском пространстве. Китайская модель выдала список с фотографиями, ценами, контактами и разбивкой по расстоянию, причем на русском.

Я оформил подписку, попользовался — и понял, что делаю один-два запроса в неделю. Платить за это полную стоимость глупо. Я отменил подписку, взял API и подключил его к Гермесу.

Теперь работает так: агент сам понимает, к кому обращаться. Вопрос про Китай уходит в китайскую модель. Нужна песня — идет в музыкальную. Нужно серьезное исследование — берет модель подороже. Простой вопрос — отвечает на дешевой и быстрой.

Это и есть роутер. Вы меняете модель под задачу, а навыки, память и настройки остаются на уровне агента.

Отдельно расскажу про память, потому что это неочевидная, но важная штука.

По умолчанию у агента память ограниченная: помнит базовые вещи о вас. Я подключил отдельного провайдера памяти — она живет независимо от самого агента и обращается к нему по API.

Зачем такая сложность? Сегодня я пользуюсь одним агентом. Завтра выйдет что-то лучше, и я перейду. Послезавтра куплю робота и подключу память к нему. Контекст обо мне — предпочтения, цели, проекты, история — сохранится и переедет.

Сейчас у меня шесть устройств подключены к этой памяти, и все они знают, чем я занимаюсь.

Кстати, про устройства. В Гонконге я купил AR-очки с небольшим зеленым экраном и кольцо с тачпадом для управления. Под очки я собрал отдельную версию агента — облегченную, оптимизированную под этот формат. Могу задавать вопросы прямо на ходу. Это уже чистое хобби, никакой бизнес-необходимости здесь нет.

Еще одна вещь, до которой я дошел не сразу.

Агент один, но ему можно создать сколько угодно профилей под разные задачи. Личность копирайтера. Личность дизайнера. Личность того, кто размещает материалы на сайте. У меня сейчас около десяти таких профилей.

Как это выглядит в связке. Задача: раз в неделю мониторить новости по гуманоидной робототехнике. Одна нейросеть с доступом к оперативной ленте собирает свежие заголовки. Сотрудник смотрит и отмечает интересные. Дальше отобранное уходит в модель, которая хорошо пишет тексты, — она собирает дополнительную информацию и делает статью. Иллюстрации рисует третья. Публикует материал через браузер четвертая.

Каждый кусок делает та модель, которая справляется лучше остальных. Раньше это была цепочка из людей и сервисов — теперь один настроенный маршрут.

Мощность. Мой микрокомпьютер тянет модели на 4–5 миллиардов параметров, и ему уже тяжело. Это немного. Для серьезной локальной работы нужна машина другого класса — присматриваюсь к варианту тысяч за 250, он потянет модели до 70 миллиардов. Вот это уже полноценная нейросеть, которая может работать с вашими данными всерьез.

Настройка. Это не «купил и заработало». Здесь нет волшебной таблетки: закинул двадцать долларов — и бизнес-процессы сами настроились. Многоуровневая работа, где нужно понимать общую архитектуру.

Безопасность. Отдельная тема, которую нельзя игнорировать. У агента есть доступ к вашей машине, и нужно следить, чтобы он не имел лишних прав и ничего не удалил. Тут остается ваша ответственность.

Сеть. Половина моих демонстраций регулярно спотыкается об интернет. Это живая система, а не отрепетированный ролик.

Из плюсов по деньгам: сам агент распространяется по свободной лицензии. Подписка на модель, на которой он в основном работает, обходится мне в 30 долларов и не съедает лимиты. Плюс API китайских моделей — они в разы дешевле западных аналогов.

Локальные чипы нового поколения уже анонсированы, и через несколько лет такие вычисления будут в обычных ноутбуках. Вы просто скажете компьютеру, что нужна финансовая модель с такими-то вводными, — и он сделает ее локально, без интернета. Никакого копирования формул в таблицах.

Тот, кто разберется в этом сейчас, к тому моменту будет понимать конструкцию изнутри. Интернет в свое время дал бизнесу полтора десятилетия на адаптацию. Здесь речь идет о годах.

Если вам интересно попробовать, вот порядок, который я считаю разумным.

Не начинайте с агента. Начните с малого: записывайте свои звонки и встречи, поставьте голосовой ввод вместо набора текста. Продвинутый менеджер печатает 40–50 слов в минуту, а говорит около 150 — разница трехкратная.

Возьмите две подписки: одну западную модель и одну китайскую. Этого достаточно, чтобы закрыть большинство задач.

Соберите свою базу знаний и подключите к ней нейросеть. Регламенты, цели, планы — все, что обычно висит в голове.

И только потом, если затянет, беритесь за железку. Она никуда не денется, а понимания к тому моменту будет больше.

Переходите в мой Telegram-канал — там расширенная пошаговая памятка-инструкция о том, с чего начать. Разбираю по шагам: какие сервисы использую, как настраивал роутинг между моделями, что с памятью и безопасностью. Плюс живые разборы новых инструментов, которые тестирую сам. Присоединяйтесь по ссылке!