Взял новую модель и прогнал через три задачи, которые раньше решал руками. Вот что изменилось

Каждый релиз обещает «прорыв». Через неделю прорыв забывают, а вы всё ещё правите промпты вручную. Я взял новую модель в день релиза и прогнал через три рабочих задачи, которые обычно делаю сам или отдаю на аутсорс. Ниже — конкретные результаты «до» и «после», без маркетинговых формулировок.

Список фич из пресс-релиза ничего не говорит о том, экономит ли инструмент время. Единственный честный способ проверить — взять задачу, которую вы уже делали старым способом, замерить время и качество, и сравнить с результатом новой модели на той же задаче.

Я выбрал три задачи из разных категорий: работа с длинным документом, код с реальным багом и структурирование сырых заметок в план.

До. Раньше на вычитку договора с приложениями у меня уходило 35–40 минут: читаю, выписываю пункты с рисками, формулирую вопросы юристу.

После. Загрузил тот же документ новой модели с промптом «выдели пункты с финансовыми обязательствами и укажи страницу». Модель нашла 11 из 12 пунктов, которые я обычно фиксирую вручную, за 40 секунд. Пропустила пункт про пени за просрочку — он был в сноске, а не в основном тексте. Итог: 10 минут на проверку вместо 35 на полный разбор. Экономия — 25 минут, но финальную вычитку я всё равно оставляю за собой.

Вывод: модель хороша как первый фильтр, не как замена юриста. Экономия времени реальная, экономия ответственности — нет.

До. Баг был в асинхронной обработке очереди — периодически терялось 1–2 сообщения из 500. Дебажил урывками неделю, добавлял логи, не находил закономерности.

После. Дал модели код и лог с таймстемпами, попросил найти race condition. Модель указала на конкретную строку, где два воркера могли одновременно читать и обновлять один и тот же индекс без блокировки — и это оказалось верно. Проверил патчем — баг исчез за два прогона теста вместо привычных «вроде исправил, посмотрим через день».

Вывод: на задачах, где нужно удержать в голове весь код и лог одновременно, модель выигрывает у человека не за счёт «ума», а за счёт того, что не устаёт держать контекст.

До. После интервью с экспертом у меня обычно 30–40 минут голосовых заметок — надиктовываю мысли по дороге домой. Разбор в структуру занимает вечер.

После. Транскрибировал, дал модели с промптом «собери план статьи по темам, сохрани все цифры и цитаты дословно». План получился логичным, но модель дважды переформулировала цитаты «для гладкости» — пришлось сверять с оригиналом. Это спорный момент: удобство против точности.

Все три теста показывают одну и ту же картину: там, где нужна финальная ответственность (юридический риск, точность цитаты, происхождение бага), человек всё равно перепроверяет. Модель не заменяет специалиста — она меняет соотношение «черновая работа / проверка» с 80/20 на 20/80. Кто-то скажет, что это и есть автоматизация в чистом виде. Я считаю иначе: пока нельзя доверять результату без проверки, это не автоматизация, а ускоренный черновик. Разница важна, когда вы считаете реальную экономию времени, а не рекламный тезис «ИИ сделает это за вас».

Разбор с промптами, которые я использовал, и полными логами по каждой из трёх задач — в канале, туда же выкладываю тесты новых релизов в день выхода, пока все остальные ещё пересказывают пресс-релиз: ссылка на канал.

В следующий раз, когда увидите пост «модель X — это революция», спросите: на какой конкретной задаче, с каким результатом «до» это проверено. Если ответа нет — это пересказ пресс-релиза, а не тест.

Если хотите, чтобы я прогнал через похожий тест конкретный инструмент или задачу — пишите в комментариях, разберу один из вариантов в следующем материале. Полную таблицу с процентом точности по каждой из трёх задач публикую в Telegram канале