Заметки с полей - 2: Про ответственность

(продолжение поста)

Узкое место разработки смещается. Раньше оно было в делании — написать код, реализовать, отладить. AI делает этот шаг кратно дешевле. И сразу обнажается следующее узкое место — верификация. Проверить, что AI сделал, что надо. Не накопил тех-долг. Не пропустил edge-кейс, который завтра упадёт в проде.

CEO смотрит на одну часть этого уравнения: делать стало дешево —> давайте делать больше. CTO смотрит на противоположную и видит: верифицировать не стало дешевле, а кода генерится больше, и это всё надо ревьюить мне и моей команде. Оба правы, но каждый со своей колокольни.

Вспомните три категории задач из прошлого поста:

a) внутренние тулзы, прототипы, "интегрировать поставщика по образу и подобию"

b) customer-facing фичи и продукты

c) платежи, безопасность, данные клиентов

С точки зрения "сделать" — в (a) AI почти не уступает человеку, в (b) подбирается всё ближе, в (c) что-то уже может точно. Но с точки зрения "проверить и взять на себя ответственность за результат" - все сильно печальнее. Не возьмет же Anthropic или OpenAI за это ответственность? Или CEO, который навайбкодил?

И поэтому CTO интуитивно защищает правильную территорию, когда говорит "а кто будет отвечать?". Это не "стэнфордское исследование сказало" — это вопрос про accountability. Если не я писал код, то как я возьму ответственность? Особенно, если я его не особо понимаю (comprehension debt).

Итого - главный вопрос: а кто будет брать ответственность? Я думаю, что маржу в софте всё больше будет забирать не тот, кто пишет код, а тот, кто гарантирует поведение/результат. Делать становится дёшево — стоимость стремится к нулю. За что платить премию? За умение обуздать AI, за готовность взять ответственность, за гарантию работы агента.

И это не теория. В феврале ElevenLabs объявили первую публичную страховку, покрывающую действия AI-агентов, разработанных на их платформе. Важно: продает страховку ElevenLabs, но андеррайтит третья сторона — Artificial Intelligence Underwriting Company (судя по их сайту они страхуют потери от AI до $50M). Они прогнали агентов через 6К adversarial-тестов в 14 категориях рисков (галлюцинации, prompt injection, утечки, несанкционированные действия) и выдали сертификацию AIUC-1, под которую страховщик готов написать полис. Собственно, теперь клиенты ElevenLabs могут застраховать себя от последствий действий агентов, построенных на ее платформе. Небольшое уточнение: эта сертификация дает 75% апрува, все таки надо еще допройти некоторые чеки, что в принципе ожидаемо.

К чему я это все? Имхо CEO и CTO надо договориться об ответах на вопросы:

1) Какова наша структура верификации работы AI? Если только люди, то скорее всего ускорения в аутпуте ждать не стоит, возможно даже замедление

2) Что мы можем сделать чтобы (хотя бы часть) этой верификации автоматизировать? Harness, дизайн система, эвалы, системы быстрой обратной связи, и тп. И, кстати, откуда бюджет на это будем брать?

3) Можем ли мы обернуть наше умение верифицировать/страховать риски работы агента в конкурентное преимущество: оплата за результат, страховка, что то еще?

Подписывайтесь на Telegram EDU.