Я сделал AI-аудит сайтов и неделю ловил его на ошибках

Я делаю сервис, который проверяет лендинг и объясняет владельцу, что мешает заявкам. Под капотом сканер: он открывает страницу в браузере, делает скриншоты, снимает замеры скорости и безопасности. Потом языковая модель пишет отчёт с доказательствами и планом исправлений.

Модель пишет уверенно и красиво. Проблема в том, что так же уверенно она пишет и неправду, если сканер дал ей кривые данные. Неделю я прогонял через сервис живые сайты и сверял каждую находку руками с тем, что видит обычный посетитель. Нашёл десяток ошибок. Рассказываю о самых показательных, они пригодятся всем, кто доверяет автоматическим проверкам.

В отчёте по главной ВкусВилл появилась «проблема»: вместо условий доставки на странице выводятся служебные метки #TITLE# и #TEXT#. Я открыл сайт и ничего такого не нашёл. Оказалось, это заготовка всплывающего уведомления: скрипт сайта подставляет в неё текст перед показом. В коде она есть, на экране её нет.

Сканер на сервере без браузера читал исходный код и брал оттуда весь текст подряд, включая закрытые окна и шаблоны. Теперь он смотрит страницу в настоящем браузере и берёт только видимое, а модели прямо запрещено писать «посетитель видит», если фразы нет на скриншоте.

Bubble собирает страницу скриптами прямо в браузере. В исходном коде почти ничего нет, поэтому отчёт заявил: на странице нет заголовка H1, а кнопки недоступны с клавиатуры. На живой странице H1 есть, а настоящих кнопок 79.

Так же устроены многие сайты на Tilda и Wix, то есть ровно та аудитория, для которой сервис делался. Теперь заголовки, кнопки и картинки считаются по странице, которую нарисовал браузер. Мета-теги по-прежнему берутся из исходного кода: Telegram и WhatsApp строят превью ссылки именно по нему.

Один сайт компании по ремонту пустил сканер только до заглушки «Sorry, your request has been denied». Сканер этого не заметил, и модель была готова написать отчёт про заглушку. Клиент заплатил бы за мусор.

Теперь сканер представляется обычным браузером, и простые фильтры его пропускают. Если сайт просит нажать «Я не робот», проверка останавливается до обращения к модели, а клиент видит честное сообщение: сайт закрыт от автоматических проверок, отчёт не создан, деньги не списаны. Обходить капчи я не стал: это прямой запрет владельца сайта.

На лендинге разработчика сайтов модель написала, что цена есть только в сниппете поиска, а на странице её нет. Цена была: «от 70 000 руб.» лежало в ответе на вопрос «Сколько стоит сайт?». Ответ свёрнут, пока по нему не щёлкнешь, и сканер выбрасывал свёрнутый текст как скрытый.

Теперь текст свёрнутых блоков (FAQ, аккордеоны, вкладки) передаётся модели отдельно, с пометкой «видно после щелчка». Вывод стал полезнее: цена есть, но спрятана, и человек, который пришёл узнать бюджет, её не видит.

Тот же лендинг получил замечание: все изображения в тяжёлых JPEG и PNG. Сканер проверял адреса картинок из кода страницы. Но CDN Tilda отдаёт браузеру облегчённые WebP-версии, а пока посетитель не докрутил до блока, вместо картинки стоит заглушка шириной 20 пикселей. Сканер считал и оригиналы, и заглушки.

Теперь считается то, что браузер реально скачал. На этом сайте 11 картинок из 16 в WebP, а тяжёлое там одно большое фото на первом экране. Его и стоит сжать.

Все ошибки шли не от модели, а от данных, которые ей давал сканер. Модель добросовестно объясняла неправильные цифры. Поэтому главное правило сервиса теперь такое: каждый вывод должен подтверждаться тем, что видит реальный посетитель, а не тем, что лежит в коде.

Если пользуетесь любыми автоматическими проверками сайта, хоть моей, хоть чужой: открывайте страницу с телефона и проверяйте глазами хотя бы главные выводы.

Ошибки сервиса я исправил, а настоящие находки остались. Вот что встречалось чаще всего, проверьте у себя:

Если не хочется делать это руками, сервис лежит на ai-auditor.ru: бесплатно показывает общую оценку и главную проблему за 1-2 минуты, полный отчёт с доказательствами и планом исправлений стоит 490 ₽. Буду рад, если проверите свой сайт и напишете в комментариях, где он ошибся: каждую такую ошибку я разбираю и исправляю.