Как я проверяю точность ИИ для оценки бизнес-идей: пока чуть лучше подброса монеты. Дневник запуска стартапа

Я делаю ISweesh, сервис проверки бизнес-идей на синтетических респондентах, и веду дневник запуска. Рассказываю, что случилось за неделю.

Провели первые замеры. Брали идеи с известным исходом, прогоняли симуляцию и смотрели, угадает ли она, что взлетело, а что провалилось. Пока результат чуть лучше подброса монеты.

Звучит слабо, но для первой версии это нормально. Монета для вопроса «взлетит или нет» это базовая планка, с которой сравнивают любую модель. Если её обогнали, значит сигнал в данных есть, дальше вопрос итераций. Буду публиковать, как меняется разрыв с монетой от эксперимента к эксперименту. Если перестанет расти, тоже напишу.

Совет из этого опыта. Когда вам продают любой инструмент с предсказаниями, спросите, с чем сравнивали и на каких данных. Нет ответа, значит вам продают монетку в обёртке.

К проекту присоединился Никита, разработчик из МФТИ с опытом в Яндексе. Пришёл, посмотрел на «чуть лучше монетки» и увидел рабочую инженерную задачу, а не повод пройти мимо. Теперь нас двое.

На сайте появился демо-блок. Вбиваете идею, смотрите отчёт о спросе. Бесплатно, без регистрации. За неделю зашло 30 человек. Мало, но трафик я пока и не разгонял, все силы ушли в движок и интервью. Сначала научить продукт нормально отвечать, потом звать людей.

Пять разговоров за неделю. Про два самых интересных расскажу.

Первый с продактом крупного ритейлера. Оказалось, похожее демо им уже показывает другой игрок категории. С одной стороны хорошо, корпорации сами смотрят синтетические исследования, рынок есть. С другой, гонка уже идёт.

Второй разговор с предпринимателем, у которого две идеи сразу. Варежки для корпоративных подарков и курсы по истории Греции. Не шучу. И это ровно та проблема, которую я решаю. Идей у человека больше, чем времени на проверку, и непонятно, за какую браться. Быстрая проверка спроса сократила бы месяцы сомнений до вечера.

Посетителей 30. Команда выросла с 1 до 2. Точность движка чуть выше монеты, это точка отсчёта. Интервью 5 за неделю.

А какая самая честная цифра вашего проекта? Напишите в комментариях, моя выше.