Дело было вечером, делать было нечего…
В этом видео Тереса Торрес делиться своим свежим опытом создания AI помощника для обучения своих студентов техникам глубинных интервью. Да, там самая Тереса Торрес — автор подхода Opportunity Solutions Tree и книги «Continuous Discovery Habits», продакт с 10+ летним опытом.
Одна из самых сложных задач в работе над LLM-based продуктами — оценка качества работы и настройка модели. Для этого обычно используется система оценок (evals), которая состоит из показательных примеров запросов и ответов. Но сделать такую систему вручную, а потом использовать при каждом изменении в системных промптах или настройках модели — очень сложно. Это много ручной работы и субъективные выводы, свойственные нам, людям.
Тереса рассказывает как за один воскресный вечер с ноутбуком под боком у мужа она сделала mvp, который дает структурированный подход к оценке качества работы AI агента. Без знания программирования, но с огромным упорством и ChatGPT под рукой.
Если вы уже сталкивались с задачей оценки и улучшения качества ответов LLM, вы оцените как это круто! Если нет — вам будет полезно послушать, что вас ждёт в ближайшем будущем.
Ключевые преимущества делать это продакту самостоятельно, а не ставить задачу инженеру:
📌 Глубокое понимание задачи и личный опыт проведения сотен интервью помогли найти такие оценки, на которые разработчик не обратил бы внимания
📌 Скорость. За 3 дня она получила инструмент в проде, который работает и уже улучшает основной продукт — тренажер для онлайн курса по интервью. Благодаря этому получилось выйти на аудиторию на порядок больше в партнерстве с Vistaly, сервисом для проведения пользовательских исследований
📌 Восторг — «Я не разработчик, но я могу самостоятельно решить сложную проблему!»
Меня такие истории очень мотивируют двигаться от простой работы с ChatGPT через промпты к автоматизации и созданию продуктов самостоятельно!
А теперь у меня и регулярная практика есть, ведь на днях мы запустили новый продукт. iAuthor — AI-помощник, который умеет писать тексты в авторском стиле канала и решать много других рутинных задач автора. Если вы ведёте свой Telegram-канал — приглашаю попробовать, бесплатный trial в боте и скидка 20% на подписку потом по этой ссылке.
Подписывайтесь на Telegram Продукторий Владимира Меркушева.