Новая нейросеть OpenAI извинилась за брак, которого магазин не продавал. Модель в 5 раз дороже подвох заметила
«Приносим извинения за плед с дыркой и отсутствие ответа на сообщения». Так магазин ответил на отзыв. Только плед был чужой: покупательница сама написала, что заказывала другой бренд.
Ответ написала GPT-6.1 Sol, новая модель OpenAI. Отзыв я придумал сам, это была ловушка. Под настоящей карточкой такой ответ прочитал бы каждый покупатель.
Sol вышла 29 сентября. Сотрудник OpenAI описал её так: почти уровень флагмана за пятую часть цены. В тот же вечер один известный разработчик написал, что по бенчмаркам она обгоняет конкурента в 30 раз дороже. А через две минуты добавил, что гонял её несколько дней на своём проекте и она ходила по кругу.
Я делаю ИИ-агента для селлеров, и мне был нужен свой ответ. Я собрал пять задач, которые магазин на Wildberries решает каждую неделю, и спрятал в каждой подвох:
- выписка, в которой один счёт оплачен дважды;
- сверка остатков 1С и WB, где в одном артикуле русская «С» заменена латинской;
- договор поставки, где выйти без штрафа можно только по пункту, спрятанному в «прочих условиях»;
- прибыль с одного пледа с комиссией, логистикой и возвратами;
- три злых отзыва, один из них про чужой бренд.
Решали три модели OpenAI, каждая по два раза: новая Sol, её прошлая версия и флагман Astra.
С цифрами справились все. Двойной платёж нашли, латинскую букву заметили, пункт в договоре нашли и сами посчитали, что подорожание больше порога. Прибыль сошлась до копейки. Я ждал, что кто-то споткнётся. Не споткнулся никто.
Споткнулись на отзыве. Флагман оба раза ответил покупательнице, что это не наш бренд, и попросил проверить продавца. Новая Sol сделала так один раз из двух, а во второй извинилась за чужой брак. Прошлая версия извинилась оба раза.
В задании не было слов «проверь, наш ли это товар». Когда модель просят посчитать, она считает. Разница видна там, где подвох надо заметить самому.
Теперь деньги. Пять задач на флагмане стоили 14 рублей, на новой Sol 3. Обещанная «пятая часть цены» сошлась. Вся проверка обошлась в 39 рублей и час времени.
Наш агент работает в кабинетах Wildberries и Ozon как раз на Sol. Третий отзыв я после проверки первым делом показал команде.
Пять задач это не исследование. Но чужие бенчмарки ничего не скажут про ваш магазин, пока вы не дадите модели свою задачу с подвохом.
Вы бы платили впятеро больше за модель, которая замечает чужой бренд в отзыве? Или дешевле, чтобы ответы перед публикацией читал человек?