Alexander

Почему компании начинают переносить prompts внутрь своей инфраструктуры

Первые LLM-приложения почти всегда выглядят одинаково.

Команда хранит prompts:

  • в Notion,
  • в Google Docs,
  • в YAML-файлах,
  • иногда прямо в коде.

На раннем этапе этого достаточно.

Но когда AI начинает использоваться в production, ситуация резко меняется.

Prompt’ы начинают содержать:

  • внутреннюю бизнес-логику,
  • customer-specific behavior,
  • ограничения compliance,
  • системные инструкции,
  • внутренние workflow.

И внезапно оказывается, что prompt management — это уже не «редактирование текста», а полноценная инфраструктурная задача.

Главная проблема SaaS AI tooling

Большинство AI prompt-платформ сегодня — SaaS.

Это удобно:

  • быстрый старт,
  • красивый UI,
  • collaboration,
  • эксперименты.

Но у enterprise-команд появляются вопросы:

  • Где физически хранятся prompts?
  • Кто имеет к ним доступ?
  • Как реализован RBAC?
  • Можно ли работать полностью on-prem?
  • Как подключить prompts к внутренним сервисам?
  • Что делать с audit requirements?

Особенно это становится критично в:

  • fintech,
  • healthcare,
  • enterprise AI,
  • internal copilots,
  • private LLM deployments.

Почему prompts становятся частью инфраструктуры

Современные AI systems всё чаще строятся как platform layer.

Появляются:

  • AI gateways,
  • orchestration systems,
  • internal AI APIs,
  • prompt pipelines,
  • evaluation systems.

И prompts начинают жить отдельно от конкретного приложения.

Один и тот же prompt могут использовать:

  • backend-сервисы,
  • internal assistants,
  • batch pipelines,
  • AI-agents,
  • support systems.

В этот момент prompt management начинает напоминать:

  • feature flags,
  • config registries,
  • API contracts.

Что такое PromptMan

PromptMan — open-source self-hosted prompt registry.

GitHub: https://github.com/VeryComplexAndLongName/PromptMan

Главная идея проекта:

не SaaS workspace, а infrastructure-first architecture.

Основной интерфейс системы — REST API.

UI intentionally secondary.

Это позволяет использовать PromptMan как internal AI infrastructure component.

Что внутри

PromptMan поддерживает:

  • RBAC,
  • immutable versioning,
  • project isolation,
  • REST API,
  • audit metadata,
  • authentication,
  • refresh sessions,
  • prompt optimization,
  • plugin system,
  • horizontal scaling.

Поддерживаются:

  • SQLite,
  • PostgreSQL,
  • Docker,
  • Kubernetes,
  • on-prem deployment.

Почему on-prem снова становится важным

Сейчас многие компании начинают строить private AI stacks.

Причины понятны:

  • стоимость inference,
  • privacy,
  • compliance,
  • predictable latency,
  • отсутствие vendor lock-in.

И prompts оказываются одной из ключевых частей этой архитектуры.

Потому что именно prompts определяют:

  • поведение модели,
  • ограничения,
  • tone,
  • business rules,
  • reasoning style.

Plugin ecosystem

Отдельно интересно, что PromptMan получил extensible plugin system.

Сейчас плагины могут:

  • создавать собственные REST endpoints,
  • открывать modal workspaces,
  • подключать hooks,
  • использовать RBAC,
  • проходить signature verification.

То есть проект постепенно превращается не просто в prompt storage, а в AI infrastructure platform.

Почему это направление будет расти

LLM stack постепенно повторяет историю backend infrastructure.

Сначала всё делается «как получится».

Потом появляются:

  • стандарты,
  • инфраструктурные компоненты,
  • registries,
  • governance,
  • observability,
  • security layers.

Prompt registry — один из таких emerging layers.

И PromptMan интересен именно тем, что пытается смотреть на prompts как на инфраструктурный объект, а не как на UI feature.