Мы сделали ИИ-аудитора для Яндекс Директа, и три созвона с тестировщиками перевернули наш бэклог

Я регулярно принимаю работу подрядчиков по контекстной рекламе, и руководство каждый раз спрашивает одно и то же: реклама настроена грамотно или просто тратит бюджет? Чтобы ответить без догадок, приходится руками пройти структуру кампаний, семантику, минус-фразы, гео, автотаргетинг, стратегии и цели в Метрике. На один кабинет уходит несколько часов, а владелец пиццерии или студии ремонта такую проверку обычно не делает совсем и узнаёт о проблеме по дорогим заявкам.

Мы решили записать то, что опытный директолог проверяет по памяти, в виде правил и отдать повторяющуюся часть машине. Продуктом занимаюсь я, клиентским сервисом и продажами Евгений Ярыгин из Поинтера, разработкой Александр Курушин, data engineer в Playrix. Первую рабочую версию мы раздали подписчикам Telegram-канала и однокурсникам по магистратуре 24 апреля.

За время разработки мы поговорили с тремя типами людей, и у каждого своя версия одной проблемы. Владелец малого бизнеса платит подрядчику каждый месяц и не может понять, за что именно, потому что CTR и средняя цена клика ему ничего не объясняют. Маркетолог в штате тратит на ручную проверку несколько часов и всё равно пропускает мелочи, когда кампаний становится два десятка. Агентству с десятками клиентских кабинетов нужен единый стандарт проверки и отчёт, который можно отправить клиенту без часа на оформление.

Ошибки, которые мы находим чаще всего, довольно скучные. В поисковых кампаниях нет минус-фраз, автотаргетинг включён на «Конкурентов» и «Широкие» запросы, РСЯ тратит деньги на мобильные игры без единой заявки, стратегия обучается на цели «просмотр каталога». По нашим наблюдениям, из-за таких настроек впустую может уходить до половины бюджета, и обычно это замечают через месяц, когда деньги уже списаны.

Сам поиск проблем мы языковой модели не доверяем. Если показать ей выгрузку из Директа и спросить, что не так, она уверенно назовёт пару несуществующих ошибок. Поэтому каждая проверка в ГдеЛидах записана как правило с формулой и порогами OK, WARN и FAIL. Правило по минус-фразам, например, считает долю поисковых кампаний с непустым списком минус-фраз: от 90% сервис ставит OK, ниже 60% ставит FAIL.

Пользователь регистрируется в сервисе и подключает кабинет Директа через OAuth, данные хранятся в Yandex Cloud. Правила считают результат по последним 30 дням, после чего Алиса Pro получает готовые цифры и пишет объяснение: что найдено, в каких кампаниях, как это влияет на деньги и что исправить первым. Отчёт выгружается в PDF, а после разового аудита сервис каждый день следит за результатами рекламы.

В стандарте сейчас два слоя проверок. Первый касается настроек аккаунта: счётчик Метрики, UTM-метки, регион показа, расширенный геотаргетинг, автотаргетинг, минус-фразы и площадки РСЯ. Второй разбирает стратегии по отдельности, и у ручной стратегии, «Максимума кликов» и «Максимума конверсий» свои наборы правил. Мастер кампаний, товарные кампании и баннеры на поиске мы пока не проверяем, потому что API Директа отдаёт по ним слишком мало данных.

После запуска мы созвонились с теми, кто успел протестировать сервис. 30 апреля разбирали аудит с небольшим агентством, которое ведёт клиентов из HoReCa, 6 мая с подрядчиком, у которого я сам заказчик, а ещё одна встреча прошла с интернет-маркетологом доставки пиццы из Томска. У него сервис вообще не заработал: активную товарную кампанию аудит посчитал остановленной, и большую часть созвона я показывал продукт на другом кабинете. Сильнее всего нас задело слово «ошибка». Подрядчик разбирал аудит собственного аккаунта и почти на каждом пункте объяснял, почему так задумано. Брендовая кампания крутится ночью, потому что заявки на обратный звонок приходят и в два часа ночи. Кампании с одинаковыми ключами разделены по устройствам. Ставки завышены ради охвата. Во многих случаях он был прав, поэтому мы переписали формулировки на «проверьте» и «может быть нормой, если так задумано» и добавляем кнопку «Это не ошибка», после которой проверка перестаёт влиять на оценку аккаунта.

Вопрос «а какие именно?» звучал на всех трёх встречах. Сервис писал, что объявления плохо пересекаются с ключевыми фразами, и не показывал, какие. Теперь у каждой рекомендации будут период, формула, использованные цели и путь до сущности с ID кампании, группы и ключа. Ещё мы убедились, что общий чек-лист для всех кампаний даёт ложные срабатывания. Без минус-фраз поисковая кампания сливает деньги, в ретаргетинге их отсутствие почти ни на что не влияет. Клик в поисковой небрендовой кампании по недвижимости стоит 500-1000 рублей, в сетях около 10, и сравнивать их напрямую бессмысленно.

Больнее всего ударил подсчёт конверсий. Сервис складывал все цели из настроек кампании, и брендовая кампания с целью «переход в каталог квартир» выглядела гениальной с конверсией почти 100%. Выбор макро- и микроконверсий перед аудитом сразу встал первым пунктом в бэклоге.

Оба агентства спросили про мультиаккаунт. Схема «одна почта, один кабинет» им не подходит: нужен список клиентов, уведомления в Telegram, когда бюджет подходит к концу, и отчёт со своим логотипом. Подрядчик, кстати, работает в Goodkey и всё время сравнивал нас с ним. Проблему на интервью подтверждали все, а подключить кабинет решались единицы. Отдавать доступ к рекламному аккаунту людям страшно, поэтому на сайте мы подробно расписываем, какие данные забираем и что сервис ничего не меняет в кабинете сам.

Кейс собирательный. Аккаунт мы смоделировали из находок, которые встречались на тестах, и цифры в нём иллюстративные. Задача кейса показать логику аудита, результаты конкретных клиентов мы не публикуем.

Студия делает кухни на заказ в Екатеринбурге и тратит на Директ 250 тысяч рублей в месяц. Рекламу ведёт фрилансер: пять поисковых кампаний, две в РСЯ, стратегия «Максимум конверсий». Владелец видит в CRM около 40 заявок в месяц, то есть 6250 рублей за заявку, и не понимает, много это или мало. Вот что показал аудит:

За первую неделю фрилансер перевёл стратегию на цель «отправка заявки» и добавил звонки как вторую макроконверсию. Он исключил 14 площадок и подключил общий список минус-площадок, добавил на уровень кампаний базовые минус-фразы, оставил в автотаргетинге только «Целевые» и «Упоминания бренда» и выключил расширенный гео.

Через 30 дней картина выглядела так (модельный расчёт):

Сильнее всего на стоимость заявки повлияла смена цели. Пока стратегия училась на просмотрах каталога, она добросовестно приводила людей, которым нравится разглядывать фотографии кухонь, и заявок от них почти не было.

Одно замечание фрилансер оспорил. Сервис подсветил показы с 23:00 до 7:00, а он ответил, что заявки на кухни часто оставляют поздно вечером, когда семья уже обсудила проект за ужином. Мы согласились, отметили проверку как «Это не ошибка», и в повторном аудите она больше не появилась.

Число сгенерированных отчётов как метрику успеха мы отбросили ещё летом: отчёт можно открыть, пролистать и закрыть, ничего не поменяв в кабинете. Теперь мы считаем рекламные аккаунты, в которых за месяц исправили хотя бы одну приоритетную проблему, найденную сервисом, и повторный аудит это подтвердил.

В ближайших релизах появятся выбор целей перед аудитом и отдельные правила для поиска, РСЯ, ретаргетинга и бренда. Кроме того, мы добавляем кнопку «Это не ошибка» с раскрытием расчёта у каждой рекомендации, мультиаккаунт с уведомлениями в Telegram для агентств и сравнение двух аудитов одного кабинета.

Если вы работаете с Яндекс Директом в компании, во фрилансе или в агентстве, подключите кабинет на гделиды.рф, первая проверка в месяц бесплатная. Больше всего нам пригодятся пункты, с которыми вы не согласны.