Человечество можно спросить заранее. Почему я делаю ставку на синтетических респондентов

Осенью 2024 года меня спросили, сколько у моего проекта пользователей. Я показал знак «окей».

Проект назывался Petcher. HR-платформа, которая должна была сводить компании и соискателей по реальному совпадению интересов, а заодно автоматически собирать портфолио из выполненных задач. Я начал его в шестнадцать. С февраля по сентябрь мы с командой писали MVP — тогда ещё без нейросетей, руками, и сложный функционал я быстро писать не умел. К сентябрю у нас был еле живой лендинг, который не был нужен никому.

Самое обидное в этой истории даже не потраченные полгода. Самое обидное — что проверку я всё-таки проводил. Я опросил сотню с лишним человек в своём колледже. Только вот они не были моей целевой аудиторией, спрашивал я их про пет-проекты, а не про работу в компаниях, и на выходе получил уверенность вместо знания. Идея, кстати, оказалась неплохой: похожую по духу задачу позже взяла в работу другая команда, с моим знакомым в составе (Tomoru Team). Плохой была не идея. Плохой была проверка.

У каждого, кто что-то запускал, есть такое кладбище. Непроверенные идеи, которые так и остались в заметках, потому что проверка стоит недель на рекрутинг, десятков тысяч на панель и месяцев на MVP. И зеркальная трагедия — идеи, которые проверять не стали и потратили на них год.

А теперь представьте, что человечество можно спросить заранее.

Синтетические респонденты — это ИИ-модели, обученные отвечать так, как ответил бы реальный человек конкретного сегмента: со своим доходом, страхами, привычками и способом принимать решения.

Разница с «спросить ChatGPT» принципиальная, и её постоянно смазывают. Когда вы спрашиваете чат-бота, вы получаете усреднённое мнение интернета, произнесённое одним голосом. Панели с синтетическими респондентами устроены иначе: это сотни разных профилей, каждый со своей биографией и логикой, и отвечают они по-разному — ровно так же, как разошлись бы ответы живой выборки.

Технически за этим стоит генерация синтетических данных: модель, обученная на реальных ответах реальных людей, воспроизводит статистически похожий массив за минуты вместо недель полевого этапа.

Почему это стало возможно только сейчас. Языковые модели выучили на текстах человечества не факты, а кое-что более интересное — паттерны того, как люди хотят, сомневаются и выбирают. Оказалось, что этого достаточно, чтобы предсказывать не только следующее слово, но и следующее решение.

Дальше — только то, что можно проверить.

Стэнфорд, 2024 год. Исследователи провели двухчасовые интервью с 1052 людьми и загрузили расшифровку каждого разговора в языковую модель целиком — не выжимку, не набор атрибутов, а весь текст со всеми оговорками и отступлениями. Полученные агенты воспроизводили ответы своих живых прототипов на вопросы Общего социального опроса с точностью около 85%.

Aaru и выборы. Стартап предсказал результат праймериз Демократической партии в Нью-Йорке с расхождением в 371 голос, опросив пять тысяч ИИ-агентов вместо живых избирателей. Подробно этот кейс я разбирал в отдельной статье, включая критику в его адрес.

Индустрия уже платит. NielsenIQ запустила BASES AI Screener — инструмент оценки продуктовых идей на синтетических респондентах, уже работающий в США, Великобритании, Германии, Бразилии и Индонезии. Evidenza строит платформу для опроса «ИИ-копий» клиентов с прицелом именно на труднодоступные аудитории и B2B-покупателей. Simile, выросшая из той самой стэнфордской работы, привлекла 200 миллионов долларов при оценке в два миллиарда и вместе с Gallup валидирует метод.

Мой собственный результат. Он гораздо скромнее, и я скажу его честно: на тестовом наборе проектов моя система пока угадывает исход примерно в половине случаев. Это не «работает», это «есть с чем работать». О самой методике проверки я напишу отдельно — она заслуживает не абзаца, а полноценного разбора.

Этот блок для меня важнее предыдущего. Потому что человек, который продаёт технологию и не может назвать её границы, продаёт не технологию.

Модель слепа к принципиально новому. Она знает, как люди отвечали вчера. Если вы придумали то, чего в человеческом опыте ещё не было, синтетика вам не поможет — ей не на чем учиться.

Смещения обучающих данных никуда не делись. Усреднённый «человек из интернета» — это не пенсионерка из Тамбова и не закупщик с завода. Хуже всего модели работают именно на недопредставленных группах, и это подтверждают исследования.

Связность обманчива. Синтетик отвечает логично и непротиворечиво. Живой человек путается, противоречит себе и объясняет свой выбор задним числом. Стройность синтетического ответа создаёт ощущение достоверности, которого он не заслужил.

И главное ограничение, которое синтетика не отменяет, а наследует. Люди сами не знают своего будущего поведения. Показательно, что к этой мысли пришли и в NielsenIQ: работая одновременно с данными о том, как потребители собираются себя вести, и о том, как они ведут себя на самом деле, там обнаружили, что потребитель — не самый надёжный предсказатель собственных поступков.

Отсюда правило, к которому пришла индустрия и с которым я согласен: синтетические респонденты — это инструмент разведки и дешёвого фильтра, а не замена финальному решению. Плохие идеи отсеивать за вечер. С выжившими — идти к живым людям.

Оглядываясь назад, я вижу собственное кладбище идей, и оно длиннее, чем у большинства читателей этой статьи.

После Petcher была универсальная платформа ИИ-агентов, которые выстраивались бы в граф и делали всю бизнес-рутину. Потом ИИ для написания статей — мы всерьёз собирались обойти Jasper. Потом, после кастдевов, платформа аналитики с ИИ-отчётами. Потом понимание, насколько тяжело построить универсальный пылесос источников данных и насколько мало это даёт пользователю. Потом AutoML-платформа, где бизнес собирал бы модели без кода — и снова тупик, теперь уже в качество данных. А потом безумная мысль: а что если предсказывать поведение вообще без исторических данных.

Так я дошёл до синтетики. И вспомнил Petcher.

Я показал идею своему знакомому Никите, бренд-маркетологу. Он сказал, что она безумная — и согласился помочь.

Теперь про то, почему я считаю, что имею право этим заниматься, будучи ML-инженером, а не социологом.

Мне кажется, в этой области сейчас две традиции, и каждая оптимизирует своё. Академия работает строго — но чаще всего на открытых моделях, а не на фронтирных, и значительная часть исследований сравнивает распределения ответов, а не предсказания конкретных людей. Это признаёт и сама наука: в свежих работах прямо пишут, что сравнение распределений рискует выдать совпадение паттернов за настоящее предсказание респондента, и предлагают более строгие способы проверки. Показательно, что при таком пересмотре часть расхожих претензий к языковым моделям оказалась тоньше, чем считалось. Поле движется быстрее, чем успевает устаревать критика в его адрес.

Коммерция оптимизирует скорость и результат — но с прозрачностью там сложнее. У той же Aaru методику, ценообразование и постановку исследований снаружи почти невозможно инспектировать. Сравните с Simile, которая выросла из академической работы и открыто говорит, что построена на двухчасовых интервью с реальными людьми: разница в проверяемости заметна невооружённым глазом.

Мне интересно место ровно посередине. Синтетика сейчас на самой ранней стадии, и я хочу сидеть в первом ряду этого шоу, а не читать о нём в пересказе.

Мы строим цифровой портрет человечества — модель того, как люди хотят, сомневаются и решают. Чтобы ни одна хорошая идея не умерла непроверенной, а пустая — не съела год жизни.

Да, я понимаю, как это звучит. Восемнадцатилетний парень из Владивостока, у которого в телеграм-канале один подписчик, объявляет, что строит модель человечества. Сейчас объясню, почему я в это верю, — и сразу скажу, при каком условии признаю, что ошибся.

Цифровой портрет — это не база ответов. База ответов устаревает на следующий день после сбора. Это модель мотиваций: не что человек ответил, а почему он так решает и что заставит его передумать. Разница как между фотографией и пониманием характера.

И лечит эта модель две зеркальные трагедии, у которых одна причина — дороговизна проверки. Хорошая идея, умершая в заметках, потому что проверять было долго и дорого. И пустая идея, съевшая год жизни, потому что проверять было долго и дорого.

Теперь про условие, при котором я это закрою. Если наука в этом направлении встанет и станет ясно, что мы упёрлись в потолок нынешних языковых моделей — что текущая архитектура в принципе не способна на то, чего мы от неё хотим, — значит, ставка была неверной. Это честный критерий, и я назвал его до того, как получил результат, а не после.

Внимательный читатель поймает меня на противоречии, поэтому отвечу первым.

Я планирую большое исследование живой аудитории, особенно B2B-сегмента. Не вопреки идее синтетики, а ради неё. Наш подход можно уложить в четыре слова: спроси один раз и забудь.

Логика такая. Классический путь — опрашивать живых людей заново под каждую новую идею, снова платя за рекрутинг и снова ожидая недели. Наш путь — провести серьёзное обезличенное исследование один раз, построить на нём цифровых двойников, и дальше прогонять через них любую гипотезу. Один раз потратились — бесконечно пользуемся.

Пока это замысел, а не готовая методика: как именно описывать мышление и опыт человека достаточно точно, чтобы двойник получился живым, — открытый вопрос, над которым я сейчас работаю.

Именно поэтому анализ целевой аудитории с помощью ИИ мне интересен не как замена людям, а как способ не спрашивать их об одном и том же по двадцатому разу.

Я строю инструмент, который прогоняет идею через симуляцию респондентов и возвращает отчёт: есть ли спрос, кто готов платить, что оттолкнёт. Сейчас это MVP — есть лендинг, есть демо, движок в разработке, первых пользователей мы только собираем.

И главный вопрос у меня тот же, что у вас: можно ли этому верить.

Поэтому я запускаю публичный дневник. Буду публиковать всё: архитектуру, эксперименты «синтетика против реальности», цифры — включая те, которые мне не понравятся. Если синтетические респонденты окажутся пузырём, этот дневник это покажет. Если нет — вы увидите это раньше остальных.

А теперь вопрос к вам. Какая идея лежит у вас в заметках непроверенной — и что вас останавливает?

Напишите в комментариях. Самые интересные я прогоню через симуляцию в первых выпусках дневника и опубликую разборы целиком — с ответами синтетиков, с моими выводами и с честной пометкой там, где система ошиблась.