3 месяца, 16 рук и пара км кода: как мы запустили сервис для маркетплейсов с ИИ, который сам отвечает на отзывы
Как любой невротик-перфекционист, после подключения первого клиента я сел развивать продукт и даже не думал соваться на рынок. А потом пришел Валя и жесточайшим образом меня обманул. Он сказал: «Ты все делаешь неправильно. Давай проведем 10 кастдевов, ну придет к нам 1-2 клиента, будет чуть больше работы, все успеем доделать...».
а как вы проверяли точность категоризации? есть какое то исследование, которое можно почитать?
мы проводили слепое тестирование нашего категоризатора - посадили несколько десятков человек и отдали им отзывы на категоризацию, параллельно запустили наш категоризатор. В итоге вышло, что тестовая группа из людей-операторов распределила отзывы по категориям с точностью около 86%, а наша нейронка - 98.5%
мы делали еще одно независимое исследование от компании прогнозис - можно вот тут почитать: https://prognosis.ru/spix. Но тут скорее про точность самих ответов