Как мы создали промт для генерации тестовых заданий: от идеи до сложных кейсов
Сегодня я хочу поделиться с вами уникальным инструментом, который мы создали для работы с LLM (Large Language Models). Этот промт способен генерировать зубодробительные тестовые задания, которые не каждая нейросеть сможет выполнить. Но именно это и делает его особенным — с его помощью можно не только тестировать модели, но и использовать для их файн-тюнинга. А если добавить к этому еще немного креатива, то можно получать совершенно неожиданные результаты.
Зачем нужны такие задания?
Потому что современные языковые модели, даже самые мощные, часто нуждаются в доработке. Представьте себе: LLM, которая легко генерирует текст для блога или соцсетей, может столкнуться с настоящими трудностями, когда дело касается более сложных задач — например, создания художественных текстов, сценариев или нелинейных историй.
И здесь наш промт приходит на помощь. Он предлагает машине задания, которые требуют креативности, нестандартного мышления и использования сложных приемов. Это не только помогает «прокачать» модель, но и открывает новые возможности для тестирования и улучшения ее работы.
Применение промта на практике
Где можно использовать такие задания? Вот несколько реальных кейсов:
- Файн-тюнинг языковых моделей для обучения. Представьте себе, что нужно обучить модель лучше справляться с задачами, связанными с креативным письмом. Наш промт может стать отличным инструментом для тренировки моделей на сложных текстах, чтобы они лучше понимали художественные конструкции, многослойные нарративы и нестандартные приемы.
- Тестирование моделей для сценарного творчества. Одной из ключевых областей применения таких заданий является сценарное мастерство. Не каждая модель сможет сгенерировать качественный сценарий для фильма или игры, особенно если учесть сложные нарративные техники вроде полимеризации персонажей или зеркальной рефлексии. С нашим промтом можно протестировать, насколько модель способна на такие задачи.
- Копирайтинг и игра с языком. В мире рекламы и маркетинга важно постоянно находить новые ходы и идеи. Наш промт поможет моделям генерировать нестандартные рекламные тексты, играя с различными приемами и техниками, что может вывести копирайтинг на новый уровень.
- Создание интерактивных диалогов в играх. Еще одно интересное применение — это разработка диалогов для видеоигр. Здесь важно учитывать многослойность сюжета, поведение персонажей и реакцию на действия игрока. Наш промт может помочь моделям генерировать диалоги, которые будут выглядеть естественно и интересно.
- Режиссерская работа с текстом. Нейросети могут стать полезным инструментом для сценаристов и режиссеров, когда нужно работать с многослойными текстами, сложными структурами и визуальными образами. Такой промт поможет моделям лучше понимать и генерировать креативные решения для работы с визуальными медиа.
Как мы создавали промт?
Процесс создания этого промта был одновременно увлекательным и сложным. Мы начали с того, что сформировали базовую структуру задания для LLM, которая включала несколько ключевых компонентов.
- Общие указания. В начале промта мы четко и лаконично объясняем машине, что от нее требуется. Машина должна понять, что ей нужно будет перерабатывать текст, используя заданные техники и приемы. Это похоже на инструктаж перед важной миссией — здесь главное не перегружать детали, а задать четкое направление.
- Многообразие приемов. Самая большая фишка нашего промта — это использование множества творческих приемов, таких как логический реверс, квантовая суперпозиция, синестезия и многие другие. Машина может комбинировать их в любом порядке, чтобы создавать сложные и многослойные тексты. Это делает задания действительно интересными и сложными.
- Примеры — как надо и как не надо. Мы включили в промт раздел с примерами того, как правильно и как неправильно выполнять задание. Это как тренировка для модели: она учится на ошибках и на правильных решениях. Показывая, что не нужно делать, мы помогаем модели лучше понимать суть задания и избегать стандартных ошибок.
- Ограничения по объему. Мы добавили ограничение на размер текста (до 200 слов), чтобы модель не увлекалась и не генерировала слишком длинные фрагменты. Это также помогает улучшить навык краткости и лаконичности у модели.
- Исходный текст для переработки. Каждое задание сопровождается текстом, который модель должна переработать. Это может быть что угодно — от художественного отрывка до рекламного слогана. Важно, чтобы модель не копировала текст, а именно перерабатывала его с использованием указанных приемов.
Чем этот промт особенный?
- Гибкость. Наш промт — это настоящий конструктор для LLM, который позволяет комбинировать разные задания и приемы. Это как творческая лаборатория, где модель может пробовать новые идеи и подходы.
- Прозрачность. Несмотря на сложность приемов, мы сделали промт максимально понятным. Даже если бы человек выполнял задание, ему было бы понятно, что нужно делать. Все термины и техники объясняются простым языком.
- Креативность на пределе. Включение таких сложных приемов, как полимеризация персонажей или рекурсивный рассказ, делает задания по-настоящему интересными и захватывающими. Модель вынуждена мыслить нестандартно и выходить за рамки привычных шаблонов.
Заключение
Наш промт — это мощный инструмент для тех, кто хочет протестировать или доработать LLM для креативных задач. Он помогает моделям учиться работать с текстами на новом уровне, используя сложные и интересные приемы. А самое главное — этот промт может использоваться для самых разных целей: от тестирования копирайтинга до разработки сценариев для фильмов и игр.
Прилагаем наш авторский промт (neiruha.com) для тестирования, опубликованный здесь:
Пример инструкции, созданной в Claude-3.5 Sonnet (на вход подается промт выше)
Хорошо, я подготовлю три сложных кода-инструкции для машины-писателя с интересными задачами на переработку текста, включая исходный текст и необходимые детали. Вот первый код-инструкция:
{Название: Космическая одиссея кухонной утвари <br>
Задание: Возьмите исходный текст о кухонных приборах и преобразуйте его в научно-фантастический рассказ о космическом путешествии. Каждый кухонный предмет должен стать персонажем с уникальными чертами характера, основанными на его функции. Опишите их приключения на разных планетах, где законы физики отличаются от земных. Используйте технические термины из кулинарии для описания космических явлений. Добавьте элемент конфликта между персонажами, основанный на их обычном использовании на кухне. Включите сцену, где персонажи сталкиваются с инопланетной формой жизни, напоминающей еду. Завершите историю неожиданным поворотом, связанным с истинной природой их путешествия. <br>
Примеры: <br>
Не так: "Ложка была капитаном корабля, а вилка - его помощником. Они летели сквозь космос, как будто плыли в супе."
Так: "Капитан Черпак, с его отполированным до блеска корпусом, уверенно вел космический корабль 'Кухня' сквозь гравитационный бульон туманности Кастрюли. Его первый помощник, Вилка, нервно позвякивал зубцами, сканируя радиационные всплески, напоминающие шипение масла на сковороде."
Ограничение: Размер текста не должен превышать 200 слов. Запрет на явное упоминание указанных приемов, указанных в задании. Запрет на дословное копирование предложений исходного текста. <br>
Текст: На кухне царит оживление: кастрюли и сковородки звенят на плите, готовя ароматный суп и поджаристые котлеты. Острый нож ловко нарезает свежие овощи, а венчик взбивает воздушное тесто для блинчиков. Половник неспешно помешивает густой соус, шумовка собирает пену с бульона. Терка натирает сыр, а разделочная доска принимает на себя удары ножа. Дуршлаг освобождает макароны от лишней воды, а пресс для чеснока добавляет аромат в маринад. Все эти незаменимые помощники работают в гармонии, чтобы создать настоящий кулинарный шедевр. <br>
}
Что будет если эту инструкцию выполнит сам Claude-3.5 Sonnet
"Межгалактический крейсер 'Кухня' рассекал пространство-время, словно нож сквозь масло. Капитан Кастрюля, блестящий и непоколебимый, отдавал команды экипажу. Старпом Сковорода, вечно шипящий и раздражительный, следил за температурой двигателей.
Внезапно корабль попал в гравитационную аномалию. "Это похоже на взбивание теста!" - воскликнул навигатор Венчик, лихорадочно вращая своими проводами. Бортинженер Половник пытался стабилизировать курс, но тщетно.
Они приземлились на планете, где реки текли густым соусом. Исследователь Нож отправился на разведку, но вскоре столкнулся с желеобразным существом. "Оно выглядит как огромное желе!" - доложил он по рации.
Экипаж разделился: Терка настаивала на немедленном возвращении, а Дуршлаг жаждал новых открытий. В разгар спора они заметили странное мерцание. Приглядевшись, они поняли шокирующую правду: весь их полет был лишь симуляцией в микроволновой печи!"