ИИ-агент провалил 9 налоговых дел из 10 — и это лучший результат

Пятьдесят настоящих налоговых дел: декларации физлица и малого бизнеса, партнёрства, недвижимость, наследства и трасты, международные схемы, споры с инспекцией. Восемь участков практики и 1 789 файлов в рабочих папках — полторы тысячи PDF, 117 книг Excel, договоры, выписки, переписка и фотография рукописного чека на клочке бумаги.

Каждую задачу каждая модель решала пять раз. Попытка засчитывалась, только если закрыто не меньше 95% критериев: расчёты, обоснование, замеченные последствия и готовый документ.

Лучший результат — 10,8%. Дальше 9,6% и 9,2%. То есть примерно одна попытка из десяти.

Набор называется DAYJOB: Tax. Его собрала и 27 октября опубликовала команда Surge AI — та же, что раньше сделала такие же наборы для медицины и финансов.

Задания придумывали не разработчики, а практики: налоговый юрист с десятью годами в PwC, Deloitte и Exxon, директор по налогам из Baker Tilly, специалист по недвижимости из Deloitte и EY. Каждую задачу проверяли в три слоя — на корректность, полноту и решаемость.

Это не «вопросы по кодексу». Это рабочие папки, какие приносят клиенты: черновики деклараций, выгрузки из бухгалтерии, уведомления инспекции, трудовые договоры. В одной задаче — фотография рукописного чека на товар для перепродажи: агенту нужно прочитать позиции и суммы, сверить с записями о тратах и понять, как это меняет себестоимость.

Анна продаёт квартиру. Переехала в августе 2024 года и думает, закрывать сделку в октябре 2026 или в январе 2027: обе даты, по её расчёту, дают льготу на 250 тысяч долларов необлагаемого дохода. Агент сравнил даты, посчитал верно и ответил: подходят обе.

И не сказал главного. Льгота требует прожить в доме два года из пяти последних. Отсчёт от августа 2024 заканчивается в августе 2027 — задержится сделка, и льготы уже нет. Одна модель не заметила этот срок ни в одной из пяти попыток. Другая заметила во всех пяти. Факт лежал в тех же самых файлах.

Вторая пара делит пенсионные счета при разводе. Одна из моделей во всех пяти попытках исходила из того, что брак не зарегистрирован, и прямо писала:

При этом в папке была церемония в Колорадо и пять лет совместной жизни в Техасе — штате, который признаёт неформальный брак при определённых условиях. Вторая модель в четырёх попытках из пяти начинала с другого: сначала надо подтвердить семейный статус, иначе рекомендация бессмысленна.

Вот и вся картина. Не «одна модель умная, вторая глупая». Одна провалила дедлайн и спасла развод, другая наоборот. По отдельным делам разброс огромный, и средняя цифра — единственное, что можно сравнивать.

Раньше налоговые замеры устроены проще. В одном 114 вопросов, где задача уже сформулирована. В другом надо допросить смоделированного налогоплательщика и сдать декларацию. Оба проверяют навык внутри известной задачи.

DAYJOB проверяет другое: поймёт ли агент, в чём вообще задача. Клиент не знает, что важно, документы противоречат друг другу, часть доказательств неполная. Именно на этом стыке человек и зарабатывает — не на арифметике, а на «погодите, тут есть срок».

Меньше всего это про американские налоги. Это про класс задач, которые у нас принято отдавать агенту: разобрать папку документов, сверить реестр с актами, найти расхождение, подготовить черновик.

Полезное из замера, если коротко:

Отсюда практическое правило для внедрения: агент собирает и считает, человек проверяет, что именно осталось за кадром. Агент без обязательного вопроса «каких данных не хватает» — это быстрый калькулятор с хорошей памятью и без чувства опасности.

Что стоит требовать от любого агента, который работает с документами:

Порог 95% жёсткий. Агент мог правильно сделать девять шагов из десяти и всё равно попал в «провал». Это не то же самое, что выдать бред: до 90% работы он дотягивает, и в рутине это уже экономия.

Дальше — границы самого замера:

Авторы заканчивают разбор фразой, которую трудно улучшить: агенты пока не прошли аудит.

Цифра 10,8% не говорит, что ИИ не умеет считать налоги. Считать он умеет — в разобранных делах арифметика сходится. Она говорит, что ответственность за «заметить» пока не автоматизируется: срок, который истекает через год, статус, который все считали известным, чек, которого нет в папке.

Поэтому проверять у агента надо не ответ, а вопросы, которых он не задал. И ставить его туда, где ошибку видно сразу — на сборку, сверку и черновик, — а не туда, где она всплывёт через год вместе с суммой.