Строю голосовую экосистему, а потом внезапно заметил, что эксплойты бывают вкуснее, чем кофе

Последние месяцы я собираю свою голосовую экосистему. Хотел обычную штуку: говорю — выполняется. Чтобы руки были свободны, голова занята будущим, а не бесконечными кнопками и UI. Но когда ты строишь такие системы, тебе внезапно в лицо прилетает суровая правда: если можно что-то сломать, это обязательно сломаю я же. Даже если не планировал.

Я просто хотел удобный голосовой интерфейс. А оказался по локоть в мире эксплойтов.

Не тех хакерских романтизированных, а нормальных бытовых багов, которые могут устроить фейерверк ровно тогда, когда ты пытаешься сделать что-то простое. И да, они бывают очень конкретных типов.

Типа сказал ассистенту одно, а он радостно услышал совсем другое. Причём иногда слышит то, чего ты вообще не говорил. Потрясающее чувство: оказывается, твоя система может сама себе отправить команду, если немного «не туда услышит» аудио.

Любимое. Ты говоришь ассистенту: «Создай задачу».

А потом между делом встраиваешь фразу, на которую он вообще-то не должен реагировать. Но он реагирует. И ты такой: шикарно, теперь мне нужен фильтр, который будет защищать систему… от меня.

Когда контекст — это такая хрупкая хрустальная ваза, которую может разбить любое лишнее слово. Попросил одно, а система внезапно решила, что теперь ей нужно анализировать твой вчерашний запрос и ещё три, которые ты вообще не планировал связывать.

Классика: вставляешь в команду логику, которую система не должна понимать, но она понимает, и теперь процесс выполняется «чуть иначе», то есть катастрофично неправильно.

Мой фаворит. Система ничего не ломает, просто тихо не делает то, что ты хотел. И ты это понимаешь только спустя час. Лучший сюрприз, который может подарить технология.

Потому что если я хочу экосистему, где всё работает само, мне нужно знать, что в ней может пойти не так. А идёт не так буквально всё.

Каждый найденный эксплойт — это ещё один кусок пазла, который подтягивает всю систему. И если уж она должна становиться сильнее, то пусть делает это именно на мне, а не на пользователях.

Скоро буду выкладывать ещё заметки по ходу разработки. Если вы тоже любите копаться в системах, которые вот-вот упадут, но по какой-то магии продолжают работать, вам зайдёт.