Стоит ли запускать ИИ-проект: чек-лист от разработчика Google
Кэсси Козырьков — о 22 вопросах, которые должен задать себе основатель.
Ведущий инженер Google советует предпринимателям изучить этот список ещё до того, как они начнут погружаться в алгоритмы, структуры данных и разработку. В идеале, говорит она, ответ на все 22 вопроса должен быть утвердительным.
- Действительно ли человек, который будет управлять проектом и которому доверили заполнить этот чек-лист, понимает устройство бизнеса? Делегировать принятие решений, говорит Козырьков, нужно подкованному в бизнесе, а не просто человеку, который любит алгоритмы.
- Можете ли вы объяснить, какие результаты будет выдавать разработанная система и кому они нужны? Сначала нужно сфокусироваться на самом решении, а не на его реализации.
- Пробовали ли вы применять интеллектуальный анализ данных для поиска потенциальных юз-кейсов (или хотя бы рассматривали такую возможность). Это не обязательно, пишет Козырьков, но может подсказать интересные направления.
- Что будет автоматизировать система: это действительно сложное решение? Не может ли она просто каждый раз сверяться с заранее заданными ответами? Если может — это громкий сигнал о том, что внедрять ИИ и машинное обучение не нужно.
- Могут ли разработчики чётко сформулировать, кто их пользователи и как они будут использовать систему? Чем раньше команда задумается о пользователях, тем лучше — это поможет спроектировать интерфейс.
- Подумали ли основатели обо всех людях, на которых может повлиять их проект? Это особенно важно для быстро масштабирующихся технологий.
- ИИ-система может быть отличной, но не безупречной. Готовы ли вы мириться с несовершенствами? Думали ли о том, что они значат с точки зрения этики?
- Возможно ли вообще реализовать и обслуживать подобную систему в задуманном масштабе? Хватит ли на это ресурсов разработчиков?
- Существуют ли наборы данных, на которых можно протестировать систему и получить какой-то потенциально полезный результат? Есть ли к ним доступ? Таких наборов данных может и не существовать, но лучше бы, чтобы они появились в ближайшее время, отмечает автор списка.
- Достаточно ли у вас данных для обучения системы? Подтвердил ли это какой-нибудь знакомый специалист по статистике или машинному обучению?
- Достаточно ли вычислительной мощности имеющихся машин для обработки нужного количества данных? Если нет, то есть ли возможность получить доступ к большей мощности?
- Уверен ли основатель, что сможет собрать команду с необходимыми навыками?
- Есть ли доступ к результатам, которые должна получать система? Если нет, то можно ли заплатить людям, чтобы они набрали нужный объём данных, выполняя одни и те же действия? (Справедливо только для систем обучения с учителем).
- Есть ли возможность сопоставить входные данные с нужными выходными данными?
- Доверяете ли вы поставщикам данных — точно ли данные, которые они дают, качественные и действительно такие, какие нужны?
- Система будет делать ошибки — понимает ли команда, какие из них хуже других?
- Обсуждали ли вы задачу с экспертом по моделированию, который может визуализировать нужную модель? Это не обязательно, говорит Козырьков, но полезно.
- Есть ли какие-то метрики для оценки эффективности работы системы?
- Уверены ли вы, что показатели бизнеса измеряются таким образом, что их нельзя намеренно повысить каким-то опасным или вредным для общества способом?
- Коррелируют ли показатели эффективности бизнеса со стандартной функцией потерь? Если ответ «нет», то поставленная задача может быть слишком сложной, считает автор.
- Подумали ли основатели о том, на каких данных должна работать система? Её нужно будет протестировать на производительность на всех таких примерах.
- Определила ли команда минимальный показатель эффективности работы системы и готова ли работать над ней до тех пор, пока она не станет ему удовлетворять — или отказаться от текущей реализации, если это окажется невозможно?
У Козырьков также есть более подробный материал, в котором она разбирает каждый вопрос из чек-листа.
2/3 вопросов не про ИИ, а про любой бизнес вообще
Кэсси Козырьков это похлеще чем Роберто Енотов
> Коррелируют ли показатели эффективности бизнеса со стандартной функцией потерь? Если ответ «нет», то поставленная задача может быть слишком сложной, считает автор.
Хорошо подмечено.
Я бы отметил, что если не коррелируют - то это просто недоработка проекта, есть много подходов, как это пофиксить. Понятно, что это может занять много времени и быть сложным по исполнению.
Классные советы:
1. не знаешь чего делаь - не запускайся
2. неадекватная команда - не запускайся
3. нет баблоса - не запускайся
4. Если запустилось и не вышло, значит что-то не учли