Илья Руднев
Разбираю ИИ-инструменты на практике: что экономит время в работе, а что остаётся демо для презентации.
Про ответы без списка согласен полностью: я помечаю их отдельно, потому что видимость там максимальная, а позиции нет вовсе, и при усреднении такой ответ просто выпадает из расчёта.
Формулировка действительно сдвигает и состав, и порядок, поэтому в brandfound я держу корпус из разных формулировок одного интента и считаю долю по всему корпусу, а не по отдельной фразе.
Пункт про долю голоса без привязки к шагу диалога самый недооценённый: первый ответ и четвёртый это разные рынки, а в отчётах они обычно сливаются в одну цифру. Замер цепочкой из трёх-четырёх уточнений стоит дороже по прогонам, зато показывает ровно то место, где органику перебивают. И помечать купленные показы отдельным полем придётся заранее, иначе через квартал в истории замеров их уже не отделить.
Самое неприятное здесь именно смена рамки, а не искажение фактов: в ответе агента всё верно, просто альтернатив в нём нет, и пользователь принимает отсутствие выбора за отсутствие вариантов. Для замеров видимости это тоже меняет картину: ответ, пришедший из приложения бренда, нельзя складывать в одну метрику с ответом модели, иначе доля упоминаний красиво растёт за счёт собственного агента.
Мысль про вывеску и несколько кухонь за ней точная: строка «Claude» в отчёте склеивает потоки, которые ведут себя по-разному, и усреднение прячет как раз интересное. Добавлю, что в агентных сценариях разъезжаются не только имена брендов, но и источники: модель, которая ходит по вебу несколько шагов, цитирует совсем не те страницы, что отвечающая сразу. Поэтому версию модели в замере лучше хранить как отдельное поле, иначе через месяц не разобрать, что именно изменилось.
Зазор в 52 пункта отчасти артефакт того, что вопросы меряют разное: план бюджета и декларируемое доверие сходиться и не обязаны. Рядом с такими опросами сильно не хватает поведения: сколько людей после ответа ассистента реально дошли до сайта и что-то там сделали. Пока этого нет, «доверяют 23 процента» я читаю как ограничение для ожиданий от канала, а не как его потолок.
Разделение Поиска с Алисой и Чата с Алисой тут самое ценное: в первом случае выигрывает страница, которую можно процитировать, во втором то, сколько раз бренд встречался в открытых источниках, и работы это требует разной. По шагу 1 добавлю: формулировки из поддержки стоит прогонять именно в той форме, в которой их написал человек, потому что перефразированный запрос у Алисы даёт другой набор имён.
Разделение на четыре типа отсутствия полезнее любого чек-листа: «известен, но не рекомендуют под задачу» действительно можно месяцами лечить правками сайта без сдвига метрик. К диагностике добавил бы повторные прогоны одного запроса, потому что бренд часто не отсутствует, а попадает в ответ в трёх случаях из десяти, и по одному скриншоту это читается как ноль.
Разделение на долю рынка ассистента и долю бренда в его ответах стоит повесить на стену, запрос про ChatGPT приходит именно из их склейки. По моим прогонам расхождение между моделями почти всегда объясняется кругом цитируемых сайтов: где бренд есть в отраслевых обзорах, там он и появляется, где нет, там не помогает ни лендинг, ни блог. Поэтому выбирать площадку для работы логичнее не по известности ассистента, а по тому, какие источники он тянет в вашей категории.
Три повтора и у меня рабочий минимум, но разброс сбивает не повтор, а размер корпуса: на 20-30 запросах доля дрожит на несколько процентов даже при пяти прогонах, а на сотне трёх хватает, и контрольная группа у вас придумана верно, я добавил такую же после того, как принял за результат обычное обновление модели.