На саммите iMerit ML Data Ops глава отдела искусственного интеллекта Cruise Хуссейн Мехенна провёл с Рагаваном Сринивасаном из Facebook AI беседу, озаглавленную Emerging AI Companies are Driving a Paradigm Shift.
В беседе они обсудили важность объединения цикла обработки данных ИИ с циклом обработки данных людьми, а также поговорили о том, что люди играют критическую роль в выявлении и разрешении пограничных случаев. Сочетание лучших практик human-in-the-loop, бесперебойного сотрудничества в цикле обработки данных и образ мышления, ставящий на первое место безопасность, в конечном итоге позволят достичь высочайшей степени успеха в сфере ИИ и ML.
Важность Humans-in-the-Loop
Успех таких ИИ-продуктов, как беспилотные автомобили, зависит от усложнения цикла обработки данных, на которых они построены. Надёжные циклы работы с данными одновременно генерируют, аннотируют и непрерывно применяют новые данные в продакшене. Однако для улучшения циклов работы с данными, например, в компании Cruise, интегрируется участие человека.
Благодаря участию человека в циклах обработки данных гарантируется безопасное и эффективное выполнение высокоуровневых действий в ИИ-системах. Humans-in-the-loop непрерывно оценивают характеристики автомобиля, и обеспечивают выполнение всех связанных с автомобилем действий так, как это делал бы человек.
Когда определённые манёвры снижают комфорт живых пассажиров, именно взгляд человека способен выявить такие ситуации. После их выявления humans-in-the-loop могут точно настроить модель, чтобы она вела себя иначе. Cruise называет такие ситуации «data instances», подразумевая под ними случаи, когда разработчики могут учиться у автомобиля на основании выполняемых им действий.
Cruise заключила партнёрское соглашение с iMerit, чтобы обеспечить внедрение человеческой экспертизы в цикл обработки данных. Обеспечивая выполнение основной миссии Cruise по реализации безопасности, справедливости и этичности ИИ, специалисты в цикле обработки способны также идентифицировать отклонения в работе модели. Чтобы делать это, в её работе нужно разобраться на очень детальном уровне, и на это по-настоящему способны только humans-in-the-loop.
Такое сочетание надёжного цикла обработки данных с участием человека является рецептом получения беспилотного автомобиля, показатели которого превышают показатели живого водителя.
Как люди разрешают пограничные случаи
На дороге беспилотный транспорт может столкнуться с бесконечным разнообразием ситуаций. Компания Cruise понимает это, поэтому создала систему, задействующую участие людей в реальном времени, когда автомобиль находится в пути.
В одном из случаев автомобиль Cruise сбили с толку дорожные ограждения на участке строительства. Вместо того, чтобы положиться на модель в решении этой задачи, автомобиль связался с живым оператором. Этот оператор удалённо перехватил управление автомобилем, позволив ему объехать участок. Такая система вмешательства человека гарантирует, что автомобиль будет вести себя безопасно, и является идеальным примером того, что humans-in-the-loop могут помогать справляться с пограничными случаями в реальном времени.
Каждый раз, когда такое случается, происходит разбор пограничного случая. Что конкретно на строительном участке вызвало трудности у автомобиля? Как не допустить повторения этого в будущем?
Cruise сотрудничает с компаниями из сферы систем обработки данных для ИИ, в частности, с iMerit, чтобы оптимизировать свой рабочий цикл и помогать своим специалистам в решении пограничных случаев при помощи соответствующей информации, минимизации количества регулярных отвлекающих факторов и снижения необходимых взаимодействий с UI. Это позволяет специалистам Cruise чётко идентифицировать пограничные случаи и обслуживать свои автомобили.
Конечная цель заключается в создании модели, способной решать собственные пограничные случаи. Cruise задействует методики, использующие модель для максимально возможного решения пограничных случаев до вмешательства человека. Благодаря этому модель генерирует как можно больше данных для цикла обработки данных, что также даёт всем humans-in-the-loop шанс на проверку ответа.
Вместо того, чтобы заставлять живых специалистов разбираться в ситуациях с нуля, Cruise позволяет своим моделям делать максимальное возможное, прежде чем вмешается специалист. Благодаря этому модель учится, а человек может наблюдать, как она справляется с трудностями, и принимать решение, является ли её ответ достаточным.
Учитывая то, что это происходит с учётом этической безопасности, именно таким способом компании могут генерировать бесценные данные, которые позволят совершить большой шаг вперёд в области беспилотного транспорта.
Слаженное сотрудничество людей и машин
В случае работы людей пограничные случаи разбираются или в реальном времени, или через зеркало заднего вида. Стремясь подвергнуть ИИ-модели воздействию пограничных случаев, Cruise спроектировала систему симуляции, создающую пограничные случаи. Она позволяет людям наблюдать за поведением автомобиля в максимально безопасной среде и параллельно улучшать его поведение. Такое взаимодействие людей и машин подчёркивает важность слаженного сотрудничества.
При изучении внедрения робототехники в производство Хуссейн понял, что наилучшие системы автоматизации создаются на основе слаженного сотрудничества живых операторов и самой робототехнической системы. Вместо изолированного взаимодействия они участвуют в работе вместе. Сложные циклы обработки данных, необходимые для обеспечения успеха беспилотных автомобилей, должны разрабатываться с учётом такого слаженного взаимодействия.
Изолированная эволюция инструментов машинного обучения — чрезвычайно проблемный вопрос для сквозного жизненного цикла машинного обучения. Важно построение целостного и интегрированного решения, позволяющего специалистам, инженерам ML, разработчикам ПО и дата-саентистам плавно перемещаться между этапами жизненного цикла.
В конечном итоге, это является целью для любой всеобъемлющей сквозной платформы машинного обучения.
Как 2022 год стимулирует сдвиг парадигмы
С каждым годом на дорогах будет всё больше беспилотных автомобилей. Сочетание лучших практик human-in-the-loop, слаженного сотрудничества в цикле обработки данных и образа мышления, ставящего на первое место безопасность, продолжит стимулировать сдвиг парадигмы, происходивший в прошлом году.
#разметкаданных #перевод #datalabeling #computervision #машинноеобучение #dataannotation #software #dataset #TrainingData #инструментыдляразметки #разметкадатасета #активноеобучение #activelearning #humanintheloop