Нейронные сети и статистика: насколько правдивы ответы искусственного интеллекта
Ну что вы там, все еще верите нейронкам?
Нашел тут статью компании Trakkr. Они решили проверить, насколько могут отличаться ответы нейронок на вопрос о статистике и насколько правдивыми будут ответы.
Они задали ChatGPT, Gemini, Claude, Perplexity и Google AI Overviews одинаковый вопрос:
какая доля продавцов сдается после одной повторной попытки связаться с клиентом?
Вся пятерка нашла одно и то же исследование и сказала, что 44% продавцов сдаются. Из всех только ChatGPT усомнился в качестве доказательной базы, но все равно сослался на статистику.
Дальше ребята пошли вглубь этого исследования по ответам из Google и вот, что получилось:
1 Google сослался на подборку статистики на сайте компании, связанной с продажами
2 Значение 44% вело на отдельный источник
3 Источником оказалась статья какого-то автора, который написал статью чисто для портфолио
4 В этой статье были ссылки и на другие исследования, но ссылки на статью про исследование с 44% нигде не нашлось) Может быть оно такое и есть, но то ли автор затер ссылку, то ли найти его нужно непонятно где
Вот такая вот доказательная база, собачка
Зацените сайт Trekkr кстати. Оч прикольно сделан. Да и само исследование интересное. Ребята проверяли несколько материалов и оказалось, что только для 40% статистических данных получилось найти ссылки на первоисточники