Как мы за 3 месяца создали систему анонимизации ПД и сэкономили клиенту 5.7 млн руб/год

Представьте: вы колл-центр недвижимости, записываете тысячи разговоров в день. Хотите обучить AI на этих данных для контроля качества обслуживания. Но разговоры полны персональных данных: имена клиентов, телефоны, паспортные данные, адреса.

Проблема: Передать эти данные подрядчику (ML-команде) без анонимизации — это утечка ПД. Штрафы:

Традиционное решение: Ручная анонимизация.

Вопрос: Можно ли автоматизировать?

Меня зовут Игорь Масленников. В IT с 2013 года. Последние 2 года развиваю AI Dev Team — подразделение DNA IT, специализирующееся на автоматизации бизнес-процессов с помощью AI.

К нам обратился крупный колл-центр недвижимости с задачей:

Обучить AI-модель на транскриптах разговоров для:

Проблема: Транскрипты содержат ПД:

Передать эти данные подрядчику (ML-команде, аналитикам) без анонимизации — нарушение ФЗ-152.

Штраф: До 6 млн рублей + репутационные потери.

Процесс:

Стоимость: 5 × 100 тыс. руб/мес = 500 тыс. руб/мес

Производительность:

Проблемы:

Что мы сделали: Создали систему автоматической анонимизации, которая:

Время разработки: 3 месяца (от ТЗ до production).

Стоимость внедрения: ~20 тыс. руб/мес (сервер + поддержка).

Результат для клиента:

ROI: Окупилось за 1 месяц (разработка 3 месяца, но экономия с первого дня production).

1. Redaction (редактирование):

Оригинал: "Меня зовут Иван Петров, телефон +7 (915) 234-56-78" Результат: "Меня зовут [ИМЯ1], телефон [ТЕЛЕФОН1]"

2. Masking (маскирование):

Оригинал: "Иван Петров, +7 (915) 234-56-78" Результат: "И*** П*****, +7 (9**) ***-**-78"

3. Pseudonymization (псевдонимизация):

Оригинал: "Иван Петров, +7 (915) 234-56-78" Результат: "Алексей Смирнов, +7 (916) 987-65-43"

4. Generalization (обобщение):

Оригинал: "Иван Петров, +7 (915) 234-56-78" Результат: "мужское имя, мобильный номер"

Backend: Node.js + TypeScript + PostgreSQL Frontend: Next.js + React Детекция:

LLM: Qwen QwQ 32B (только для пост-валидации, планируется v0.16.0)

При разработке ChamelOn мы столкнулись с проблемами, которых не было в учебных примерах.

Проблема: Клиент предоставил транскрипты, где номера телефонов разбиты по всему тексту из-за пауз в речи.

Пример из реальных данных:

Оператор: "Хорошо, у вас WhatsApp есть, да, на этом номере?" Клиент: "Вы 7868 звоните, да?" Оператор: "Так, нет, я сейчас звоню 963-824-487, а на какой номер мне позвонить?" Клиент: "Не, лучше 914-218-7868, там у меня WhatsApp." Оператор: "7868. Алексей, да, Вас зовут? Правильно?"

Что здесь происходит: Телефон +7 (914) 218-7868 разбит на 3 части: "7868", "914-218-7868", "7868".

Решение: Context-aware Phone Detector — анализирует диалоговый контекст вокруг числовых последовательностей.

Результат: Recall для фрагментированных телефонов: 85-90% (было ~40-50% с базовым regex).

Проблема: Клиент использует ASR (автоматическое распознавание речи) для транскрибации звонков. ASR делает ошибки, особенно с именами собственными и топонимами.

Примеры ошибок:

Решение: Fuzzy Matching + Morphological Normalization (обработка склонений и падежей).

Результат: False Negative Rate (пропущенные ПД): 8-10% → 5-7% (снижение на 60%).

Проблема: Одно и то же слово может быть ПД или не ПД в зависимости от контекста.

Пример 1: "Мира" (топоним или имя?)

Контекст 1: "Один на проспекте Мира, дом 127" → "Мира" — часть адреса (проспект Мира), НЕ имя → Детектор должен ПРОПУСТИТЬ Контекст 2: "Меня зовут Мира" → "Мира" — это имя, детектировать как [ИМЯ] → Детектор должен НАЙТИ

Пример 2: "Тверской" (прилагательное или фамилия?)

Контекст 1: "Офис у нас на Тверской улице" → "Тверской" — прилагательное к "улице", НЕ фамилия → Детектор должен ПРОПУСТИТЬ Контекст 2: "Звонил Иван Тверской" → "Тверской" — фамилия, детектировать как [ФАМИЛИЯ]

Решение: Address Pattern Filtering (фильтрация адресных контекстов через regex паттерны).

Результат: False Positive Rate (ложные срабатывания): 12-14% → 5-7% (снижение на 50%).

ChamelOn создавался для колл-центра, но применим в других отраслях.

Проблема: Нужно провести научное исследование на данных пациентов, но этический комитет не одобрит исследование без анонимизации.

Решение: Анонимизация историй болезни с сохранением медицинских данных.

Результат: Публикация результатов без раскрытия личности пациентов.

Проблема: ФИО, фото, возраст влияют на решение рекрутера (предвзятость).

Решение: Анонимизация резюме (удаление ФИО, контактов, фото).

Результат: Увеличение разнообразия нанимаемых специалистов на 15-20%.

Проблема: Нельзя скопировать production БД в staging без анонимизации.

Решение: Автоматическая анонимизация дампа БД перед копированием.

Результат: Тестирование на реалистичных данных без утечки ПД.

Проблема: Клиентские документы содержат конфиденциальные данные.

Решение: Анонимизация документов перед публикацией.

Результат: Публикация кейса для маркетинга без риска судебных исков.

Сейчас ChamelOn не использует большие LLM модели для основной работы. Только легковесные ML модели (Natasha NER) + regex + словари.

Почему?

Идея: Использовать LLM только для валидации (не для основной детекции).

Архитектура (3 стадии):

Stage 1: Traditional Detection (без LLM, 5-20ms)

Stage 2: LLM Post-Validation (Qwen QwQ 32B, 500-1000ms, опционально)

Stage 3: Graylist Review (Human-in-the-loop)

Пример работы:

Оригинал: "Звонила Татьяна с работы, сказала приехать к ним на Кутузовский"

Stage 1: "Звонила [ИМЯ] с работы, сказала приехать к ним на Кутузовский" (Пропущен "Кутузовский" — проспект, адрес)

Stage 2 (LLM): "Нашел пропущенное: Кутузовский (address, confidence 0.85)"

Stage 3 (Human): Админ подтверждает → добавляется в Blacklist

Следующий раз: "Звонила [ИМЯ] с работы, сказала приехать к ним на [АДРЕС]" (Теперь анонимизируется автоматически!)

Стоимость:

Экономия:

Расчёт ROI:

Метрикаv0.15.7 (текущая)v0.16.0 (план)ПриростAccuracy~88%93-95%+5-7%False Positive Rate12-14%5-7%-50%False Negative Rate8-10%3-5%-60%Recall (names)85-90%95%++10%

Timeline: v0.16.0 релиз — Q1 2026 (7-9 недель разработки).

Я понимаю, что эта статья вызовет критику. "Зачем автоматизация, если есть ручная анонимизация?", "AI делает ошибки, лучше доверять людям", "Это замена специалистов".

Моё мнение: Эта критика больше про страх смешанный с высокомерием, чем про технические аргументы.

Страх: "Если AI может анонимизировать данные, что будет с моей работой?" Высокомерие: "Только люди могут правильно обрабатывать данные, AI — это игрушка."

Реальность: AI не заменяет хороших специалистов. Он их усиливает. ChamelOn не про замену людей — это про автоматизацию рутины, ускорение процессов и снижение человеческих ошибок.

Не согласны? Отлично. Напишите мне в Telegram, обсудим технические детали. Предпочитаю технические аргументы эмоциональным реакциям.

Канал (редкие, но интересные посты): Заходите, читайте мои мысли и статьи. Публикую нечасто, но когда публикую — это стоит прочитать.

Личный контакт: Нужно обсудить? Пишите напрямую. Всегда рад связаться.

Хочу услышать:

Супер открыт к конструктивному диалогу. Без эго, просто хочу поделиться опытом и услышать ваше мнение.

Игорь Масленников AI Dev Team | DNA IT В IT с 2013 года