Prompt Mixer — сервис для тестирования и сравнения AI-моделей

Prompt Mixer — десктопное приложение, которое поможет выбрать подходящую ML-модель или AI-инструмент для решения вашей задачи.

Идея Prompt Mixer появилась, когда мы работали над очередным сервисом на базе LLM-моделей. Мы столкнулись с проблемой выбора подходящей модели среди огромного количества вариантов под каждую задачу и тестирование качества ответов на постоянной основе, когда мы что-то меняем. Только на Hugging Face их более полумиллиона.

Нам был нужен инструмент, где можно легко хранить версии разных промптов и сравнивать, как разные модели справляются с задачей.

Первая версия Prompt Mixer позволяет:

- Тестировать сразу несколько моделей, в том числе запущенные локально, например через Ollama.

- Сравнивать версии промптов.

- Тестировать цепочки промптов.

Если вам нужно протестировать не модель, а сервис, можно написать собственный коннектор и установить его как плагин. (https://docs.promptmixer.dev/tutorial-extras/create-a-custom-connector)

Пример как это работает

Мы продвигаем Prompt Mixer в своих профессиональных кругах: среди разработчиков, дата-сайентистов, исследователей AI. Основные каналы продвижения — профильные сообщества и блоги.

Главный приоритет сейчас — сделать продукт максимально полезным и удобным. Поэтому мы много общаемся с пользователями, собираем обратную связь и дорабатываем приложение.

Приложение абсолютно бесплатно для личного использования. Платная подписка нужна только для пользователей, которые хотят синхронизировать рабочее пространство с командой.

Если вы работаете с ML-моделями и хотите быстро их тестировать и сравнивать — попробуйте наш сервис. Prompt Mixer бесплатен для личного использования. Будем рады обратной связи и идеям по улучшению приложения. (Писать можно на [email protected] или в дискорд https://discord.gg/cvs7RDBC9a)

Сайт проекта: