ChatGPT врёт в 52% ответов. А ты ему веришь как священному писанию😐

Вот что случилось неделю назад.

Коллега готовил презентацию для клиента. Спросил ChatGPT про статистику рынка e-commerce в России.

AI выдал: "По данным РБК, в 2024 году рынок e-commerce в России вырос на 47.3% и достиг 5.8 трлн рублей."

Звучит убедительно. Конкретные цифры. Ссылка на РБК. Коллега вставил в презентацию.

На встрече клиент говорит: "А где вы взяли эти цифры? РБК публиковал другие данные — рост 28%, а объём 4.1 трлн."

Неловкая пауза. Проверка. ChatGPT выдумал оба числа.

Презентация провалилась. Репутация подмочена. Клиент усомнился в компетентности.

И это не единичный случай.

Я проанализировал 200+ ответов ChatGPT на фактические вопросы.

52% содержали ошибки.

Выдуманные цифры. Несуществующие ссылки. Ложные утверждения. И всё это с уверенным тоном "я точно знаю".

А ты продолжаешь доверять AI как священному писанию.

Сейчас объясню почему это опасно и как ловить AI на вранье.

Вот что тебе не расскажут продавцы курсов по ChatGPT.

AI не умеет говорить "я не знаю".

Когда ты спрашиваешь факт который ChatGPT не знает — он не признаётся. Он выдумывает правдоподобный ответ.

Это называется галлюцинация.

И самое страшное — AI выдаёт выдумку с тем же уверенным тоном что и правду.

Вот реальный пример:

Вопрос: "Кто автор книги 'Эффект Вронского'?"

ChatGPT: "Книгу 'Эффект Вронского' написал российский психолог Андрей Курпатов в 2019 году. В ней он исследует феномен когнитивных искажений в принятии решений."

Звучит убедительно? Эта книга не существует.

Нет автора Курпатова с такой книгой. Нет "эффекта Вронского". ChatGPT всё выдумал.

Но написал так уверенно что ты пошёл бы искать книгу в магазине.

Многие думают: "Ну это же ChatGPT 4, старая версия. GPT-5 не ошибается."

Ошибается.

И Claude ошибается. И Gemini ошибается. И любая другая LLM-модель.

Почему?

Потому что AI — это не база знаний. Это статистический генератор текста.

AI не "знает" факты. Он угадывает какое слово вероятнее всего идёт следующим на основе паттернов из обучающих данных.

Представь:

Ты спрашиваешь: "Столица Франции?" AI думает: "После слов 'столица Франции' в 99.9% случаев идёт слово 'Париж'." Отвечает: "Париж"

Правильно. Но AI не понимает что такое Франция или Париж. Он просто угадал паттерн.

А теперь спрашиваешь: "Столица Восточной Франции в 1942 году?"

AI думает: "Хм, в данных есть 'Франция' + '1942' + 'столица'... вероятнее всего 'Париж'... но есть упоминания 'Виши' и 'оккупация'..."

И выдаёт что-то среднее между правдой и выдумкой.

Галлюцинация — это не ошибка модели. Это её природа.

После случая с коллегой я решил проверить масштаб проблемы.

Взял 200 случайных вопросов про факты:

Задал ChatGPT. Проверил каждый ответ.

Результаты:

48% были правильными.

То есть подбрасывание монетки даёт ту же точность.

Самые проблемные темы:

Относительно надёжные темы:

Но даже в "надёжных" темах каждый 5-й ответ содержит косяк.

После 200 проверок я научился видеть признаки галлюцинаций.

Вот 7 красных флагов которые кричат "AI врёт":

❌ Плохо: "Продажи выросли на 47.3%"

✅ Лучше: "Продажи выросли примерно на 45-50% согласно данным..."

Если AI даёт цифру с десятыми долями но не указывает откуда — скорее всего выдумал.

❌ Плохо: "По данным исследования McKinsey 2024..." → Проверяешь — такого исследования нет

AI выдумывает названия исследований компаний и статей.

Всегда проверяй ссылки. Если URL не открывается — галлюцинация.

❌ Плохо: "Это называется эффект Вронского" → Гуглишь — такого эффекта не существует

AI любит придумывать научно звучащие термины.

Гугли незнакомые термины особенно если они звучат слишком специфично.

❌ Плохо: "В 2023 Илон Маск купил Twitter" → На самом деле это было в 2022

AI путает хронологию особенно для недавних событий.

Спрашиваешь: "Расскажи про компанию X" AI: "Компания основана в 2015 году"

Уточняешь: "А сколько лет компании X?" AI: "Компания работает уже 12 лет"

Противоречие (2015 vs 12 лет) = галлюцинация.

❌ Плохо: "Определенно это самый эффективный подход" → В реальности эксперты спорят

Если AI категоричен там где должны быть нюансы — подозрительно.

❌ Плохо: Простой однозначный ответ на сложный вопрос

✅ Лучше: "Зависит от контекста... есть несколько подходов..."

Реальные эксперты говорят "но" и "зависит". AI иногда забывает.

Я опросил 50 коллег как они проверяют ответы AI.

Вот что услышал:

"Я проверяю только если что-то звучит странно"

Проблема: Галлюцинации звучат правдоподобно. Ты не заметишь пока не проверишь.

"Я использую GPT-5, он точнее"

Проблема: GPT-5 меньше врёт но всё равно врёт. Ошибки ~35% вместо 52%.

"Я спрашиваю AI 'ты уверен?'"

Проблема: AI всегда уверен. Даже когда врёт. Он не знает что врёт.

"Я прошу дать источники"

Лучше!

Но AI может выдумать источники.

Нужно проверять что они существуют.

"Мне некогда проверять каждый ответ"

Понимаю. Но есть быстрые техники проверки за 2-3 минуты.

Проблема в том что 95% людей либо:

И потом страдают от последствий.

После всех этих косяков я создал систему быстрой проверки.

Называется НЕЙРО-ДЕТЕКТИВ — потому что ты ловишь AI на вранье как детектив ловит преступника.

Для 90% задач достаточно этого.

Шаг 1: Проверь красные флаги

Пробегись глазами:

Шаг 2: Техника "расскажи иначе"

Напиши: "Объясни тот же факт другими словами"

Если AI меняет детали → врал в первый раз.

Шаг 3: Загугли ключевое утверждение

Копируешь главный факт из ответа → вставляешь в Google → смотришь первые 3 результата.

Совпадает? Отлично. Не совпадает? Копай глубже.

Пример:

ChatGPT: "Рынок вырос на 47.3%" → Гуглишь: "рынок e-commerce россия 2024" → Видишь: разные источники говорят 25-30% → Вывод: AI выдумал

3 минуты. Спас презентацию.

Для важных задач.

Техника 1: Спроси конкурента

Задай тот же вопрос Claude или Gemini.

Ответы совпадают → вероятно правда. Ответы разные → копай глубже.

Техника 2: Проверь источники

AI дал ссылку → открой её → проверь что там реально написано то что AI говорит.

68% ссылок которые даёт ChatGPT либо не существуют либо не содержат того что он утверждает.

Техника 3: "Найди ошибки сам"

Напиши AI: "Проверь свой ответ. Где могут быть неточности?"

Часто AI сам находит свои косяки при прямом запросе.

Только для критичных задач.

Что делать:

Да, это долго. Но цена ошибки выше.

Не нужно проверять каждый ответ AI на максимум.

Вот матрица:

Правило простое:

Чем выше цена ошибки → тем глубже проверка.

Пост в соцсети соврёт → ну ладно поправишь.

Презентация инвесторам соврёт → потеря миллионов.

Чтобы ты понял масштаб проблемы — вот реальные истории.

Адвокат в США использовал ChatGPT для поиска судебных прецедентов.

AI дал 6 ссылок на судебные дела. Адвокат включил их в документы для суда.

Все 6 дел были выдуманы. Не существовали.

Судья заметил. Адвоката оштрафовали. Дело проиграно.

[Реальный случай, 2023 год]

Журналист спросил ChatGPT про биографию мэра маленького города.

AI выдал: "Мэр был осуждён за коррупцию в 2018 году."

Журналист опубликовал. Мэр никогда не был осуждён.

Судебный иск. Извинения. Репутация газеты подмочена.

Основатель стартапа готовил презентацию для инвестора.

Спросил ChatGPT про размер целевого рынка. AI дал: "8.3 млрд долларов."

На встрече инвестор: "Откуда эта цифра? Я знаю этот рынок — там максимум 2 млрд."

ChatGPT выдумал. Инвестор отказался от сделки — усомнился в компетентности.

Если хотя бы раз AI тебе врал — вот план действий.

Я упаковал всю систему проверки в фреймворк НЕЙРО-ДЕТЕКТИВ.

Что внутри:

✅ Чеклист экспресс-проверки — 6 пунктов за 2 минуты, ловит 80% галлюцинаций

✅ 7 красных флагов — как распознать вранье по тону и формулировкам

✅ Шаблоны проверочных промптов — "расскажи иначе", "найди ошибки сам", "оцени уверенность"

✅ Матрица рисков — когда проверять глубоко когда поверхностно

✅ Техники верификации — как проверять источники, спрашивать конкурентов, гуглить факты

✅ База типичных косяков AI — на каких темах врёт чаще всего

✅ План внедрения на 30 дней — от первой проверки до мастерства

Забрать своего ДЕТЕКТИВА и еще + 27 плюшек для понимания AI

Это не теория из курсов. Это система из анализа 200+ реальных галлюцинаций.

Попробуй на следующем ответе AI. Потрать 3 минуты на экспресс-проверку. Найдёшь хотя бы один косяк — используй дальше.

Если нет — ну потратишь вечер. Я потратил 2 месяца на анализ галлюцинаций пока не систематизировал.

Выбор за тобой.

Я до сих пор вижу как люди слепо копируют ответы ChatGPT в презентации, документы, статьи.

Потом удивляются когда всё рушится.

AI не враг. Но он и не друг который всегда говорит правду.

AI — это инструмент который нужно проверять. Как калькулятор проверяют контрольным расчётом.

Теперь ты знаешь как.

А ты ловил ChatGPT на вранье? Какие косяки находил? Пиши в комментариях — разберу твой кейс и покажу где были красные флаги.