Про ИИ простым языком: интервью с российским Data Scientist, обладателем второго места в рейтинге Kaggle

Российский специалист по Data Science Павел Плесков занял второе место на международной площадке для соревнований экспертов машинного обучения Kaggle. Александра Левицкая, HR-менеджер vcv.ru, взяла у Павла интервью, чтобы простым языком рассказать про ИИ тем, кто не раз про него слышал и хочет наконец понять, что к чему.

Клиенты часто спрашивают нас обо всем, что касается анализа данных и ИИ. Мы решили во всем разобраться и задать довольно базовые, но важные для нас вопросы Павлу Плескову, занявшему второе место на Kaggle. В статье доступно рассказываем про machine learning и весь этот хайп вокруг ИИ. Ну и про Пашу тоже. Энджой.

Павел, давай сначала начнем с тебя и расскажем тем, кто тебя не знает, кто ты.

Я окончил мехмат МГУ, Российскую экономическую школу, немного работал в консалтинге, потом четыре года в трейдинге, два года назад активно начал заниматься Data Science, стал участвовать в соревнованиях на платформе Kaggle, сейчас занимаю второе место в мире.

Работаю в американском стартапе, мы занимаемся автоответами на электронную почту. Летом живу в Москве, много путешествую зимой.

А расскажи немного про Kaggle?

Это платформа, на которой компании проводят свои соревнования. Выглядит это так: у некоторой компании появляется задача по machine learning (распознавание картинок, работа с текстами и так далее), компания приходит на платформу, и участники со всего мира решают эту задачу и борются за призовые места.

Такие онлайн-хакатоны, длящиеся от одного до трёх месяцев. Призовые могут быть от $50 тысяч до $1 млн, бывают и бесплатные (обычно академические). Платформе девять лет, ее сейчас поглотила Google.

Постановка задачи такая, что можно легко сравнивать результаты участников, есть leaderboard, на котором люди видят результаты, на основе рейтинга выявляется победитель. И есть глобальный общий рейтинг участников разных соревнований. Иногда успехи на Kaggle принимаются во внимание рекрутерами. Это маркер того, что человек может успешно применять продвинутые методы machine learning.

Помимо денег, начисляются баллы, есть ачивки, геймификация очень стимулирует, участие только за деньги быстро снижает мотивацию. Это занимает большое количество времени, и многие быстро перегорают, так как нужно еще успевать работать, но есть и долгожители. Можно участвовать соло, можно объединяться в команды.

Еще есть медали, они дают звания мастера и грандмастера. Чтобы стать грандмастером, нужно получить пять золотых медалей, и одну из них соло. Со временем очки исчезают, если долго не участвовать, другие тебя обгонят.

Как тебе удалось достичь второго места?

Началось все с того, что онлайн-курсы по data science были со скучными домашними заданиями. Практикой было очень круто заниматься на Kaggle, стал заниматься этим фултайм, не работал полтора года, просто решал эти задачи, нравилось, рейтинг рос. Цель была стать первым, но я пока ее не достиг.

А кто первый?

Сейчас на первом месте пользователь с ником bestfitting, человек из Китая, про него мало известно, ходит много слухов. Но слухи это слухи, а факт в том, что он первый. А на втором месте был пользователь Giba из Бразилии, он очень давно на Kaggle, много чего выиграл, безумно талантливый человек, поражаюсь, насколько он до сих пор горит этим, мы с ним бодались за второе место.

Ок, давай поговорим про Data Science. Расскажи для людей, далеких от этой темы, что это такое?

Коротко, конечно, очень сложно, может быть много определений. В целом это некоторый набор инструментов по работе с данными и сама работа с данными: получение из них информации, инсайтов, пользы. Другими словами, это всевозможные способы извлечения, обработки, хранения данных. Это большая наука, она и инженерная, и академическая, очень разная.

Как соотносятся термины ИИ, DS, ML?

Путаница в терминах происходит постоянно, все эти buzz words используются взаимозаменяемо. Есть шутка на эту тему: когда питчится стартап, речь всегда идет про искусственный интеллект, когда идет разработка продукта, то он превращается в машинное обучение, а на стадии внедрения в продакшн все скатывается к логистической регрессии.

Я бы к термину «искусственный интеллект» относился очень осторожно. Если просто открыть статью на «Википедии» и почитать, то окажется, что ко многим стартапам, о которых идет речь, это не имеет никакого отношения.

И то, что под ИИ понимают люди — это не что иное, как машинное обучение, то есть просто поиск математических функций, которые обладают определенными свойствами.

Когда люди программируют, пишут код руками, они создают функции, программы. В ML эти функции создаются автоматически, с помощью компьютера. Люди по-прежнему пишут кусочки кода, но создание конечных функций лежит на компьютере. И эта вся разница. Это совершенно не ИИ.

Переживания, что случится сценарий фильма «Терминатор», что роботы поработят человечество, при текущем развитии технологий — пока бесконечно далеко. Сейчас люди просто орудуют некоторыми функциями, которые приносят пользу, анализируют данные, не более того. Можно делать удивительные вещи, отличать кошечек от собачек, делать машинные переводы текстов, но это просто функции.

А объясни, пожалуйста, понятным языком, что же такое ИИ?

На самом деле для меня это такой философский вопрос, который отсылает к понятиям интеллекта, сознания. У Эндрю Энджи (Andrew Ng) есть хорошее объяснение и четкое различие.

Есть AGI (Artificial General Intelligence) — это то, чего люди так боятся, что компьютеры начнут сами принимать решения. Это системы, которые могут справляться с настолько сложными задачами, что мы не можем себе представить, что можно их решать самостоятельно.

И есть более специфичный ИИ, ANI (Artificial Narrow Intelligence), с абсолютно прикладными задачами, которые решаются написанием некоторых функций. Это одно понятие, но смысл очень разный. Просто ИИ — более широкое понятие. С одной стороны, ИИ — когда машины начнут мыслить и решать задачи, которые им не ставили.

И есть ML — часть этого понятия, набор методик, которые позволяют решать разные задачи. С формальной точки зрения — стартапы не лгут, ML это часть ИИ. Внутри ML есть деление на разные ветки — обучение с учителем и без учителя, нейронный сети (продвинутый уровень ML), которые являются частью DL, глубокого обучения.

При этом есть более простые методы. Самый простой — логистическая регрессия, которую проходят на первом занятии по машинному обучению. Она применяется во всех системах, где нужно что-то простое и безотказное. Формально если стартап использует этот метод, можно сказать, что у него есть искусственный интеллект внутри.

В принципе любой алгоритм, даже дерево решений, можно считать ИИ, но это будет небольшое лицемерие.

А если это какая-то автоматизация рутинных действий, когда бот ходит вместо человека, сохраняет данные с сайта, нажимает на кнопочки, копирует текст?

Безусловно, да, тут есть тонкая грань между просто алгоритмом и алгоритмом машинного обучения. То и другое называется алгоритмом. Так или иначе что-то автоматизируется при помощи него, но тут вопрос, откуда он взялся.

Если алгоритм написал человек, это просто автоматизация. Если это алгоритм, который был получен методами ML, и он условно натренировал компьютер, то это можно назвать ML и ИИ.

А есть какой-то базовый принцип для непрофессионала, чтобы отличить технологию с применением ИИ от технологии без ИИ? Когда к тебе приходят стартапы и начинают рассказывать, какие они крутые, как это можно проверить, что спросить, чтобы понять, что это на самом деле?

Это крутой вопрос. Мне кажется, люди, которые знают, как это делать, могли бы много зарабатывать. Я думаю, обмануть всегда можно. Если бы ко мне пришел питчиться стартап, я бы попробовал узнать про конкурентов, есть ли они и что делают.

Индикатором того, может ли технология существовать или нет, является следующее: если человек может какую-то операцию делать меньше, чем за секунду, если это рутинная операция, там вполне себе может быть технология ML. Особенно если известно, что сейчас ее выполняет большое количество людей, как в колл-центре, например, то там есть потенциал для машинного обучения.

Распознавание картинки, например, это очень простая операция для человека, но еще пять–десять лет назад казалось невозможным научить этому компьютер.

Еще индикатор: надо понимать, откуда берутся данные в этой задаче. Есть отдельное направление ML — reinforcement learning (например, компьютер играет в го или шахматы), когда у машины нет обучающей выборки, но есть среда, где она может сама обучаться. В реальной жизни такое редко встречается.

Беспилотному автомобилю нужно много данных с камер, радаров, лидаров и так далее, чтобы потом обучить модель. Вопрос, откуда взять эти данные, не просто данные, но размеченные данные.

Если взять пресловутый пример с кошечками и собачками, то это будут картинки с надписями: вот здесь кошечка, а здесь собачка. И это надо учитывать. Часто в стартапах просто нет данных, без которых невозможно ML, а люди говорят, что они есть.

Давай возьмем для примера сферу HR. При поиске и отборе персонала используется много видов коммуникации и рутинных действий. Что считать алгоритмами, которые строит сам компьютер, а что считать ML? Синтез, распознавание речи, автообзвон и разговор с кандидатами, переписка по почте, анализ видео.

В целом, конечно. Для меня прямая аналогия с колл-центром. Есть задача автоматизации техподдержки, очень сложная задача. Каждая компания решает это по-своему, кусочками. Сначала это категоризация запросов по письмам, потом появляются автоответы, потом автоответы голосом.

Эти рутинные операции сейчас до сих пор решаются частями, и если речь про процесс отбора персонала, то когда-то это будет сведено в единую картину. Синтез речи, анализ текстов, анализ речи — это часть проблемы, ее в рекрутменте можно успешно решить.

Но на мой взгляд, проблема в подборе в том, что данные очень шумные. Рекрутеры сами не знают, какие качества у потенциального кандидата определят, что он будет успешным. И это проблема совершенно другого характера.

У Нейта Сильвера есть классная книга “The Signal and the Noise”. Свойство человека в том, что он часто ищет паттерны в абсолютном шуме. С этим сталкиваются трейдеры, суеверные люди и так далее.

Так что, я думаю, никто на деле не знает, какой опыт и личностные характеристики должны быть у человека, чтобы он на конкретной позиции в конкретной компании успешно и долго работал. Как решить эту задачу? Не уверен, что у нее есть решение.

А если взять данные в компании по сотрудникам, кто успешно работает, и сравнить их профиль с профилем потенциального кандидата?

Проблема в шуме. Во всех этих описаниях человека очень много факторов. Нужно очень много наблюдений, чтобы выявить какие-то закономерности, это как пойти на экзамен и надеть счастливые носки, потому что в прошлый раз ты в них получил пятерку. Если данных мало, а факторы шумные, то статистические значимости сложно выявить.

А распознавание эмоций, лжи? Насколько это точная история?

Я этим вопросом год назад интересовался. Есть статьи на эту тему, где люди показывают, что точность определения лжи и эмоций повысилась. Но есть вопросы к таким исследованиям. Результат очень сильно зависит от того, какие данные были на входе.

Есть интересные вещи, например, человек не может заметить изменение размера зрачка, а машина легко это определяет. Но здесь возникает вопрос шума, корреляции, всегда ли это говорит о лжи или волнении и так далее. Тем не менее какие-то технические вещи машины могут делать лучше людей, даже лучше экспертов. Но пока здесь еще огромное поле для исследований.

Возьмем тогда еще сегмент поиска данных, информации. Если этап сорсинга берет на себя машина, когда нам нужно найти по сторонним ресурсам цифровой след человека, это все — простая автоматизация рутинных действий или ML?

Есть crawling и scrapping, есть боты по сбору разного вида информации, это простая автоматизация, но дальнейший метчинг этих данных вполне можно отнести к ML.

Если вы ищете Васю Пупкина, то вам не так просто будет найти именно этого Васю Пупкина. Здесь ML в сфере распознавания текстов может очень помочь. И computer vision тоже. Такие сложные задачи — вполне себе ML, наборами правил здесь не ограничишься.

Для отбора персонала можно применять из ML распознавание и анализ текста, звука, картинки, видео, что еще?

Собственно, то, что ты сейчас перечислила — это практически все задачи ML. Неудивительно, потому что подступиться к подбору персонала можно с разных сторон. Сейчас много ИТ-продуктов, и они модернизируются, поиски «Яндекса» и Google уже существуют два десятка лет, но сейчас это все завязано на ИИ, и так везде.

Кажется, что это просто алгоритм, но там внутри ИИ, это неизбежно, потому что так много данных, что не использовать ИИ глупо. Но да, есть те, кто выдает желаемое за действительное и хочет прокатиться на этой волне хайпа.

Назови, пожалуйста, какие-то крутые для тебя примеры продуктов, где реально используется ИИ.

Я бы назвал вообще любой продукт от Google: «Переводчик», «Фото», «Поиск».

Паша, спасибо большое, очень крутая беседа.