Стоит ли запускать ИИ-проект: чек-лист от разработчика Google Статьи редакции

Кэсси Козырьков — о 22 вопросах, которые должен задать себе основатель.

Ведущий инженер Google советует предпринимателям изучить этот список ещё до того, как они начнут погружаться в алгоритмы, структуры данных и разработку. В идеале, говорит она, ответ на все 22 вопроса должен быть утвердительным.

  1. Действительно ли человек, который будет управлять проектом и которому доверили заполнить этот чек-лист, понимает устройство бизнеса? Делегировать принятие решений, говорит Козырьков, нужно подкованному в бизнесе, а не просто человеку, который любит алгоритмы.
  2. Можете ли вы объяснить, какие результаты будет выдавать разработанная система и кому они нужны? Сначала нужно сфокусироваться на самом решении, а не на его реализации.
  3. Пробовали ли вы применять интеллектуальный анализ данных для поиска потенциальных юз-кейсов (или хотя бы рассматривали такую возможность). Это не обязательно, пишет Козырьков, но может подсказать интересные направления.
  4. Что будет автоматизировать система: это действительно сложное решение? Не может ли она просто каждый раз сверяться с заранее заданными ответами? Если может — это громкий сигнал о том, что внедрять ИИ и машинное обучение не нужно.
  5. Могут ли разработчики чётко сформулировать, кто их пользователи и как они будут использовать систему? Чем раньше команда задумается о пользователях, тем лучше — это поможет спроектировать интерфейс.
  6. Подумали ли основатели обо всех людях, на которых может повлиять их проект? Это особенно важно для быстро масштабирующихся технологий.
  7. ИИ-система может быть отличной, но не безупречной. Готовы ли вы мириться с несовершенствами? Думали ли о том, что они значат с точки зрения этики?
  8. Возможно ли вообще реализовать и обслуживать подобную систему в задуманном масштабе? Хватит ли на это ресурсов разработчиков?
  9. Существуют ли наборы данных, на которых можно протестировать систему и получить какой-то потенциально полезный результат? Есть ли к ним доступ? Таких наборов данных может и не существовать, но лучше бы, чтобы они появились в ближайшее время, отмечает автор списка.
  10. Достаточно ли у вас данных для обучения системы? Подтвердил ли это какой-нибудь знакомый специалист по статистике или машинному обучению?
  11. Достаточно ли вычислительной мощности имеющихся машин для обработки нужного количества данных? Если нет, то есть ли возможность получить доступ к большей мощности?
  12. Уверен ли основатель, что сможет собрать команду с необходимыми навыками?
  13. Есть ли доступ к результатам, которые должна получать система? Если нет, то можно ли заплатить людям, чтобы они набрали нужный объём данных, выполняя одни и те же действия? (Справедливо только для систем обучения с учителем).
  14. Есть ли возможность сопоставить входные данные с нужными выходными данными?
  15. Доверяете ли вы поставщикам данных — точно ли данные, которые они дают, качественные и действительно такие, какие нужны?
  16. Система будет делать ошибки — понимает ли команда, какие из них хуже других?
  17. Обсуждали ли вы задачу с экспертом по моделированию, который может визуализировать нужную модель? Это не обязательно, говорит Козырьков, но полезно.
  18. Есть ли какие-то метрики для оценки эффективности работы системы?
  19. Уверены ли вы, что показатели бизнеса измеряются таким образом, что их нельзя намеренно повысить каким-то опасным или вредным для общества способом?
  20. Коррелируют ли показатели эффективности бизнеса со стандартной функцией потерь? Если ответ «нет», то поставленная задача может быть слишком сложной, считает автор.
  21. Подумали ли основатели о том, на каких данных должна работать система? Её нужно будет протестировать на производительность на всех таких примерах.
  22. Определила ли команда минимальный показатель эффективности работы системы и готова ли работать над ней до тех пор, пока она не станет ему удовлетворять — или отказаться от текущей реализации, если это окажется невозможно?

У Козырьков также есть более подробный материал, в котором она разбирает каждый вопрос из чек-листа.

0
5 комментариев
Сергей Катков

2/3 вопросов не про ИИ, а про любой бизнес вообще

Ответить
Развернуть ветку
Нюська Абрамова

Кэсси Козырьков это похлеще чем Роберто Енотов

Ответить
Развернуть ветку
Андрей Сазонов
> Коррелируют ли показатели эффективности бизнеса со стандартной функцией потерь? Если ответ «нет», то поставленная задача может быть слишком сложной, считает автор.

Хорошо подмечено.

Ответить
Развернуть ветку
Вася Пражкин

Я бы отметил, что если не коррелируют - то это просто недоработка проекта, есть много подходов, как это пофиксить. Понятно, что это может занять много времени и быть сложным по исполнению.

Ответить
Развернуть ветку
Цой жив

Классные советы:
1. не знаешь чего делаь - не запускайся
2. неадекватная команда - не запускайся
3. нет баблоса - не запускайся
4. Если запустилось и не вышло, значит что-то не учли

Ответить
Развернуть ветку
2 комментария
Раскрывать всегда