Дневник стартапа #4: неделя фейлов — рассылка ушла в спам, удалили фичу из-за рекламы, у нас запросили возврат оплаты

Привет, я Настя, руководитель отдела контента в Aigital — сервиса на основе нейросетей для решения маркетинговых задач. Мы придумываем и разрабатываем шаблоны, которые упрощают пользователям создание контента для рекламы, СМИ и соцсетей. Каждую неделю мы рассказываем о развитии стартапа и изнанке продукта.

В этом выпуске расскажем о фейлах, с которыми столкнулись за последние несколько дней: пришлось удалить классную функцию, которая не прошла тест, вся рассылка ушла в спам, а новый дизайн дэшборда снизил конверсию. Но на фоне всего этого случилась одна важная для нас победа.

На прошлой неделе заметили, что резко упала открываемость нашей рассылки. У нас порядка 40 000 подписчиков. С привычным open rate в 30% нас читало 12 000 человек. Теперь наши письма открывает всего 3% получателей — 1 200 человек. Оказалось, что у всей команды письма улетели в спам, а до сервиса рассылок, которым пользуемся, очень тяжело достучаться, чтобы выяснить причину этого.

Пока мы разбираемся, как вернуться к читателям, подписывайтесь на наш телеграм-канал или здесь на vc, если следите за развитием продукта.

Так случилось, что впервые за год существования сервиса пользователь запросил у нас возврат оплаты. Это был представитель интернет-агентства, которого заинтересовал навык «Структура посадочной страницы». Он посчитал, что навык полностью отрисует структуру лендинга. Но результат генерации в этом навыке — текстовое описание структуры, а не ее графическое отображение.

Поставили задачу проработать нейминг навыков, чтобы реальный и ожидаемый результат совпадали.

Нам очень помогает ваша обратная связь, когда вы пишете об ошибках, невозможности сгенерировать контент, задаете вопросы. Несмотря на то что мы сами пользуемся Aigital, привыкнув у сервису, можем не чувствовать каких-то моментов, которые неудобны и ненативны для нового пользователя.

В первом дайджесте мы писали, что решили отказаться от строчного списка навыков в пользу карточек с примерами. Сейчас видим, что это сказалось негативно. Проверяем гипотезу о том, что продукт стал выглядеть несерьезно, и из-за этого уменьшился поток корпоративных клиентов. Пока думаем, как лучше организовать дэшборд, чтобы он и выглядел более профессионально , и в то же время был наглядным.

Пару недель назад мы интегрировали редактор изображений. О нем был написан отдельный раздел в предыдущем дайджесте. Но прямо перед выпуском статьи мы решили убрать функцию редактирования картинок из интерфейса, соответственно, не упоминать его в дайджесте.

Мы подключили API бесплатного онлайн-редактора, который по функциональности не уступает фотошопу. Но, поскольку это был MVP продукта, решили протестировать его без брендирования и интеграции в продукт, просто перенаправляя пользователя на сторонний сервис. По клику на кнопку «Изменить» пользователь попадал вместе со своей картинкой в фоторедактор и мог бесплатно пользоваться всеми функциями сервиса. Без блокировки рекламы в браузере рядом с рабочей областью редактора отображались политические баннеры, что и стало причиной нашего отказа от интеграции редактора в сервис. Хотя решение пока не окончательное.

Мы не успели замерить, насколько часто пользователи переходили в редактор. Если вы использовали его или считаете, что интеграция редактора будет полезна для сервиса, — напишите об этом в комментариях. Мы хотели бы, чтобы у Aigital была эта функциональность, но в первую очередь будем ориентироваться на то, насколько это нужно пользователям.

И если в случае с редактором изображений мы не увидели баннеры из-за блокировки рекламы, то представьте, как нас удивило, когда один наш друг прислал скрин, где вместо «Изображение» было написано «Ибрейна», а вместо «Удаление фона» — «Удаление фонаря».

При этом ни у кого из нас ни разу не выпадало подобное написание. Спустя некоторое время к нам в команду пришел редактор, которая занялась вычиткой интерфейса и на правке прописала вопросы об этих странных «ибрейнах» и «фонарях».

Проблему нашли — оказывается, если у пользователя включен в браузере автопереводчик, он видит искаженный текст. Пока рекомендуем вам проверить наличие автопереводчика и отключить его для адреса app.aigital.co.

Кстати, название сервиса на русском читается «Аиджитал», хотя переводчик и называет его «Aйгиталь». В Яндекс.Метрике мы часто встречаем эту версию :)

Каждую неделю мы рассказываем, что под капотом одного из наших навыков. На этой неделе мы как раз переработали саммаризатор, который плохо справлялся со своей задачей прежде. Тем не менее он востребован среди 20% наших пользователей.

Промпт для этого навыка основан на научной работе From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting. Chain of Density переводится как «цепочка плотности».

В первых двух дайджестах мы показывали, как работает цепочка из различных нейросетей. А в этом навыке — цепочка подсказок в рамках одного промпта. Они управляют плотностью информации в сгенерированном резюме. Если просто — на каждом шаге они подсказывают ИИ, как сохранить краткий объем резюме и при этом дополнить его важной для читателя информацией.

Но в первой версии навык работал на GPT-3.5 и не отрабатывал этот сложный промпт. Кроме того, в интерфейсе было поле с выбором количества слов, и мы пытались «договориться» с нейронкой выдавать в результате хотя бы примерно заданный объем. Но все, кто работают с LLM, знают, что этого добиться крайне сложно, а часто практически невозможно. Проведя множество тестов, мы решили не противиться этому, и во второй версии саммаризатора убрали выборку объема. Помимо этого, мы перевели его на GPT-4.

У навыка несложная последовательная механика — сначала генерируется первичное резюме, а затем ИИ в 2 захода пересматривает его и дополняет новыми важными пунктами. В поиске ключевых моментов ИИ ориентируется на релевантность теме, краткость, новизну и верность. То есть новые добавленные пункты не должны повторять предыдущие или быть выдуманы самой нейронкой. При этом саммари должно быть самодостаточным — понятным и без обращения к исходному тексту.

Несмотря на множество фейлов, у нас есть одна огромная победа — мы стартовали White Label для одного из ведущих игроков из топ-50 компаний в России. Это будет их корпоративный ИИ, надеюсь, чуть позже расскажу об этом подробнее.

А пока мы продолжаем тему исследований и видим, что одна из самых больших потребностей, как для White Label, так и для наших пользователей, — это навык, в который можно сгружать десятки файлов и «общаться» с ними в чате. Например, получать ответы на вопросы, делать саммари на основе той информации, которую вы закинули в чат. Давайте обсудим, мог бы стать такой чат топ-фичей Aigital?

Немного подробнее об исследовании мы рассказывали в предыдущем выпуске: