Как ChatGPT запретил мне общаться с людьми или нейропоздравления с Новым Годом

Всем привет! Меня зовут Комаров Олег, я Product Manager и Average GPT Enjoyer. В последнее время весь vc.ru завален статьями про использование ChatGPT, а комментаторы надрываются доказать, что «T9 на максималках» не имеет ценности и применения. Поэтому я поставил перед собой цель единения с машиной и решил переложить на ИИ максимум обязанностей, чтобы доказать, или опровергнуть этот тезис. Для начала расскажу, как ChatGPT начал играть роль настойчивой мамочки и контролировать мой круг общения, а закончу практическими примерами использования ИИ в повседневной работе. Погнали!

Замечу, что изначально я скептически относился к возможностям нейросетей и тому, как их можно использовать в повседневных сценариях, кроме как визуализировать в Midjourney запросы Олега из мемов "олег что ты такое". Не уверен, что сейчас моё мнение сильно поменялось, я только сильнее залез в кроличью нору. Однако, мне интересно поделиться своими наблюдениями и рассказать об успехах. Да и вообще это моя первая статья и она больше про "посмеяться", а потом про "задуматься", но никак не про серьёзный бизнес.

В двух словах, в декабре 2022 года мне захотелось разослать знакомым персональные поздравления на НГ и запрячь для этого ChatGPT. Изначальную гипотезу я сформулировал так:

Казалось бы, придумываем промпт, кхе-кхе, запрос, наподобие: "Напиши поздравление для моего друга с наступающим Новым Годом". Для познавших дзен, можно спихнуть на ChatGPT и это: "Придумай мне качественный запрос для ChatGPT для поздравления друга с Новым Годом" или "напиши код, который включит компьютер, зайдёт на сайт, введёт запрос к ChatGPT..." Говорят, что если повторять эту формулу достаточно долго, то сам Сэм Альтман подключится в чат и пошлёт вам персональный бан за использование самореференции.

Несмотря на непреодолимую тягу к паттерну "Shit in, shit out" в построении поздравлений, я изначально решил пойти дальше нажатия на "Сгенерировать ответ" n раз и добавить что-то действительно персональное. А что может быть более персональным, чем тон общения, в котором я общаюсь с человеком?

После формулирования гипотезы, я решил подготовить следующий эксперимент

Написав небольшую програмку, которая подставляет переменные из файла в текст, я начал формировать датасет для подстановки в запросы. С именем всё просто, с "изюминкой" тоже ничего замысловатого, просто писал туда что-то типа: "Поздравление должно быть в рифму", "В формате рэпа", "Поздравление казаху". Изюм мне, конечно же, отсыпал тот же ChatGPT.

С тоном оказалось немного сложнее, но именно благодаря этим изысканиям я начал делать fine-tune последующих моделей, о чём я надеюсь рассказать вам в следующих статьях. Так что вот ремарка: в тот момент я в итоге забил на инструменты дообучения OpenAI и решил обойтись простым запросом к ChatGPT: "Прочти следующий текст -> оцени тон". Такие дела надо делать через fine-tuning, это не так тяжело, как может показаться на первый взгляд.

Создание датасета для анализа тона я разбил на несколько этапов:

Поковырявшись с ВКонтакте и разочаровавшись в его парсоспособности, я решил ограничиться только Telegram и выгрузить переписку оттуда в одном большом человекочитаемом HTML файле. Далее сугубо техника: создание небольшого ETL процесса в Python, регулярные выражения для очистки и разметки данных, разбиение текста на 2 колонки и запись в .xls файл для создания запросов к ChatGPT. Поскольку соцсети отпали, за ними отпала и возможность поделиться нейропоздравлениями с коллегами из школы и детского сада. Что-ж, им повезло.

В процессе я также протестировал ИИ на предмет написания регулярок и фрагментов кода для ETL-процесса. Получилось "ну так": с регулярками ИИ справился достойно, а в плане кода ему вечно требовалось больше контекста. Чем-то процесс объяснения задачи машине напомнил мне документацию и бизнес-анализ, от чего я забросил описание контекста задачи и набросал код самостоятельно. В результате на руках у меня было 30х2 комплектов диалогов.

Потом началось интересное. Во-первых, только в этот момент я узнал, сколько текста можно запихнуть в GPT запрос, и, как оказалось, довольно мало – всего около 500 слов на кириллице. Поэтому анализ тона оказался крайне фрагментарным, и приходилось искать куски текста, наиболее подходящие для праздничного общения.

Во-вторых, ИИ восстал и запретил общаться с моими контактами... Об этом далее.

Загрузив переписки, я получил в некоторых контактах, помимо анализа тона разговора, ещё и советы от ChatGPT. Естественно, это возникло потому, что AI довольно разговорчив и заполняет пустоту дополнительными словами. Но больше всего меня заинтересовало то, что он начал давать советы именно когда тон общения был далёк от соевого. Например:

Ладно, пока я только печатаю робо-руку на 3D принтере ты не можешь выключить компуктер и я ещё пообщаюсь с токсиками в интернете. Проигнорировав советы и когда данные наконец были подготовлены, я начал формировать запросы к ChatGPT. Оказалось, что сбалансировать персонализацию и попытаться сохранить мой стиль и тон было непросто, но в конечном итоге я смог получить поздравления, которые, по крайней мере, напоминали мои собственные.

Итоговый запрос звучал так:
"Подготовь весёлое и качественное поздравление с Новым 2023 Годом для /Имя/.
Пиши сообщение так, как обычно его пишу я: /Мой тон/.
Учитывай, что обычно мне отвечают так: /Тон собеседника/.
Добавь небольшую изюминку в поздравление: /Особенность/.
Подготовь текст от 100 до 150 слов."

А не будет никаких метрик, это было бы уже каким-то задротством.

Но про оценку поздравлений напишу. Я выбрал для собеседников обычный субъективный опрос после поздравлений в формате "как тебе поздравление, ок / не ок?" и удержало ли оно взгляд дольше пары секунд. Для формирования контрольной группы я отправил 30 неперсонализированных нейропоздравлений от ChatGPT и получил стандартное "Спасибо, как неожиданно и приятно!". Ничего феерического в этих поздравлениях и не было, за исключением смайликов и пары хороших формулировок, при этом пару раз в тексте затесались непрошенные хэштеги. Итого 2 бракованных поздравления в мусор и 15 прошедших "ок" фильтр.

А затем я отдельно отправил уже персонализированные поздравления. Или не отправил. Как минимум я постарался выбрать из предложенных вариантов допустимые общечеловеческими нормами. ChatGPT начал генерировать такие поздравления, что мои друзья думали, что я сошел с ума. Некоторые утверждали, что это лучший способ поздравить их, потому что поздравление было "живым и непредсказуемым". Другие же были шокированы и перестали со мной общаться. Навсегда. Возможно, это была цена, которую пришлось заплатить за мои эксперименты с ИИ. Из 30 вышло всего 12 поздравлений, к которым я бы не имел претензий. Какие были претензии? Первые попавшиеся на картинке далее.

Но хотя бы во всех оставшихся бриллиантах действительно проявила себя изюминка: поздравления были в формате стихов или пожеланий всегда иметь в холодильнике "праздничный чак-чак". Итого 12 оригинальных поздравлений в стиле подвыпившего новогоднего гуляки из 30 прошли фильтр и понравились собеседникам. Как по мне это фиаско.

Изначально проект на 20 минут и пары строчек на питоне разросся так, что я погрузился в дообучение GPT и сделал пару скриптов, которые и сейчас постоянно использую в работе. Хотя они кардинально не дают мне ровным счётом ничего, кроме хорошего настроения, тем не менее, такие проекты не мешают мне проверять больше разных сценариев в поисках того самого дарующего Идею на миллион.

Так что, дорогие читатели, не бойтесь экспериментировать с ИИ и применять его в различных сферах вашей деятельности. Возможно, вы сами сможете открыть что-то новое и удивительное, что изменит ваш подход к повседневным задачам. А в следующий раз я расскажу про какой-нибудь другой из моих пет проектов, связанных с нейросетями.

Всем продуктивного общения с ИИ!