Есть три уровня: Компьютер разработчика → GitHub → рабочий сервер
Большую модель можно распределить между несколькими компьютерами. Каждый хранит свою часть весов, выполняет расчёты и обменивается промежуточными результатами с соседями. Это называется распределённый инференс: пользователь отправляет один запрос и получает один ответ
Сегодня Anthropic выпустили закрытую Mythos 5.1 и Fable 5.1. Главное изменение коснулось тарифов, так как прирост в бенчмарках есть, но уже не такой значительный из-за частых релизов
Обычный запрос из серии «визуализируй эти данные» упирается в одно — агент хватает первый попавшийся тип графика и отдаёт заводскую заготовку библиотеки. Красиво не получается, потому что выбор шаблона происходит раньше, чем разбор самих данных
Свой компьютер окупается, когда заменяет достаточно платной работы с ИИ
Потратил 14 часов и таки собрал проект с крутыми картами, на которых видно города и все маршруты ...
11
Можно купить компьютер за полмиллиона, загрузить нейросеть и обнаружить, что модель влезла, а ждать ответ несколько часов (если запрос хотя бы чуть-чуть был сложный)
Собрал пятёрку для кода, автоматизации и ИИ-агентов. Критерий — результаты в тестах и объём памяти, который придётся под них выделить
Обычно большая нейросеть упирается в простой потолок: модель не помещается в видеопамять, её нужно много
Большинство каталогов скиллов забито универсальными инструментами. А когда нужно разобрать Яндекс Метрику, собрать семантику из Wordstat или подключиться к API Авито — начинается ручная сборка велосипеда
Продолжаю развивать тему с мухой и её мозгом, который запихнули в компьютерное железо
11
OpenSpec — бесплатный инструмент командной строки, который хранит требования к проекту markdown-файлами в самом репозитории и отдаёт их кодинг-агенту как контекст. Каждое изменение отдельным файлом фиксирует, какое требование добавляется, меняется, переименовывается или отменяется, поэтому проверять приходится только несколько строк требований