Нейронка и аналитика: где чудо, а где "лучше б не начинал"

Если вы не гуру в AI: пара простых правил, которые спасут ваше время от бессмысленных циклов и повысят ВАШЕ доверие к создаваемому продукту.

Мы все уже поняли, что нейронки — не хайп, а новая реальность. И когда смотришь, что они делают и с какой скоростью, иногда правда начинаешь верить в чудеса. Особенно если сам не до конца понимаешь, какой должен получиться результат, и надеешься на их «насмотренность». В целом это нормально — до тех пор, пока задача не требует точности.

Часть повторяющейся рутины скинуть на нейронку — это правда кайф. Сел, описал по шагам, дал доступ к данным, и вот часовая задача решается меньше чем за минуту.

Но если берешься за сложную задачу, где нужен оркестр и ты не совсем понимаешь этапность или математику своей задачи (а иногда даже если понимаешь), то что-то может пойти не так там, где вообще сложно представить, что нейронка ошибется.

Есть у меня в портфеле интересный инструмент. Мы назвали его «анализ силы бренда». Суть очень простая: беру несколько брендов и при помощи вордстата определяю их «известность» с точки зрения частотности. А потом сравниваю, рисую графики, делаю выводы по долям, динамике, темпам роста и т. п.

Я прекрасно знаю, как это делать ручками, и у меня даже есть шаблон в эксельке, куда добавляешь очищенные данные и получаешь графики. Но вот мне захотелось красоты и автоматизации (а то от эксельных графиков глаз дергается), и я решил создать скилл в Cursor, который сам все за меня сделает.

Сложность автоматизации метода заключается в том, что для корректной оценки емкости бренда нужно понимать интент запросов, чтобы исключать шум и мусор. То есть нейронка должна понять СМЫСЛ поискового запроса

Например, мы анализируем бренд «Дядя Ваня» (огурцы и т.п.). Чтобы определить реальную емкость бренда, нужно не просто собрать частотность всех запросов, описывающих бренд, но и исключить суммы частот запросов, не относящихся к нашему бренду.

А значит, нам надо найти слова, указывающие на чужой интент, и минусануть их. Тут у нас из очевидного: радио «Ваня», Чехов, пьесы. Из неочевидного — оказывается, есть VPN с аналогичным названием бренда.

Быстро (и главное — дешево!) научить нейронку понимать интент у меня не получилось. Хотя, буду честен, я просто пока не готов ей полностью доверить этот процесс и слепо верить в корректность данных, на основании которых она рисует графики.

Поэтому моя маленькая паранойя подсказала, что на выходе у нейронки нужно не только получить красивый набор графиков, но и верификационный файл для «оператора», где он увидит, на основании чего они построены.

Это было лучшее решение, потому что, когда я, уже потирая руки от удовольствия, и готов был сказать ей: «Все ок, пакуй скилл»... я посмотрел отчет верификации и понял, что до финиша нам еще ой как далеко.

Самую большую печаль у меня вызвал факт искажения данных.

Я весьма четко описал процесс финального фактчека цифр (идешь туда, берешь это, делишь на это, сравниваешь доли с этими долями, и если они не совпадают более чем на 10% — бьешь тревогу).

Спустя несколько итераций и калибровок я понял, что она считает как-то иначе. Спросил у нее: «Как ты считаешь?» — и получил совершенно иную формулу, которая вообще даже близко не похожа на мою.

Пришлось прописывать правила искажения информации в Cursor — зашивать системный запрет на отход от заданной методологии.

Если решаемая задача важна, просите нейронку создавать сервисные отчеты для верификации. Чем точнее вы понимаете задачу, тем точнее будет результат. Но все равно просите сервисный отчет, не верьте слепо.

Волшебное решение задачи при отсутствии понимания «как» и «что будет» приведет ко множественным итерациям, и это, в целом, тоже норм, когда в процессе разработки ты знаешь направление и очень примерный результат, который не можешь описать сразу с белого листа. Тогда итерация за итерацией будешь шлифовать результат слой за слоем до идеала.

Заходите в мой ТГ-канал, буду вам рад!