Когда скорость становится выше понимания: кто действительно управляет искусственным интеллектом?

Искусственный интеллект уже способен готовить документы, анализировать данные и предлагать решения за минуты. Но скорость получения результата не означает, что человек успел проверить его качество.

Искусственный интеллект принимает решения. Человек отвечает за последствия. Главный вызов эпохи ИИ — не научить машины думать быстрее, а сохранить способность человека проверять решения,понимать риск.

Главный риск заключается не только в ошибках ИИ. Проблема возникает, когда организация начинает принимать решения быстрее, чем способна оценивать их последствия. ИИ масштабирует не только эффективность, но и ошибки Алгоритм может помочь банку оценить заёмщика, юристу подготовить договор, а руководителю — проанализировать расходы.

Но качество результата зависит от данных, ограничений системы и проверки человеком. Ошибка сотрудника может остаться единичной. Ошибка автоматизированного процесса способна повториться в тысячах операций.

ОЭСР в исследовании Governing with Artificial Intelligence рассматривает вопросы управления рисками, прозрачности и подотчётности при использовании ИИ. Источник: https://www.oecd.org/en/publications/governing-with-artificial-intelligence_795de142-en.html

Поэтому чем шире автоматизация, тем важнее возможность проверить результат и своевременно остановить процесс. Человеческий контроль не должен быть формальностью Если сотрудник лишь нажимает кнопку подтверждения, это ещё не означает, что он контролирует решение. Настоящий контроль предполагает способность проверить основания рекомендации, обнаружить ошибку, отклонить результат и объяснить принятое решение. NIST в своей системе управления рисками ИИ подчёркивает необходимость систематически выявлять, оценивать и снижать риски. Источник: https://www.nist.gov/itl/ai-risk-management-framework Использование ИИ также не освобождает организацию от ответственности. Необходимо заранее определить, кто отвечает за данные, проверку рекомендаций, остановку процесса и последствия ошибки.

Пять правил внедрения ИИ

1. Разделять решения по уровню риска. Автоматизация подготовки документа и автоматический отказ человеку в значимой услуге требуют разного уровня контроля.

2. Сохранять проверяемость. Для существенных решений необходимо фиксировать основания рекомендации и результаты проверки.

3. Оставлять возможность остановки. Специалист должен иметь право отклонить результат или направить его на дополнительную проверку.

4. Измерять реальную эффективность. Важно учитывать не только скорость, но и ошибки, затраты на исправление и возможный ущерб. 5. Не перекладывать ответственность на алгоритм. ИИ может рекомендовать, анализировать и рассчитывать. Ответственность за организацию процесса и использование результата должна быть определена заранее. Будущее принадлежит управляемым системам Внедрить ИИ — ещё не значит повысить эффективность. Если компания производит больше документов, но тратит больше ресурсов на исправление ошибок, технологический прогресс может оказаться лишь видимостью. Настоящее преимущество получают организации, которые умеют не только автоматизировать процессы, но и проверять результаты, защищать данные и сохранять управляемость. Главный вопрос заключается не в том, сможет ли ИИ заменить отдельные операции. Важно, сохранит ли человек способность понимать решения, которые всё чаще принимаются с помощью алгоритмов. Сильная организация использует ИИ, чтобы расширить возможности человека, а не лишить его способности думать, проверять и отвечать за последствия.

Источники • ОЭСР — https://www.oecd.org/en/publications/governing-with-artificial-intelligence_795de142-en.html •

NIST — https://www.nist.gov/itl/ai-risk-management-framework

Полная версия аналитического материала — на Жакин.рф

✍ Даниил Юрьевич Жакин Основатель ZHAKIN TEAM; Директор по международной деятельности ООО «ПОБЕДА»; Заместитель директора по противодействию коррупции в системе государственной службы Российской Федерации.