Датасет

Загадочное "машинное обучение" на деле - это дрессировка тупеньких роботов.

Это похоже на служебную собаку, которую мы еще щенком натаскиваем искать взрывчатку. Только собака намного сложнее наших роботов. Наши роботы настолько тупенькие, что умеют только что-нибудь одно, у них даже нет собственного тела, они существуют внутри обычных компьютеров.

Дрессировка заключается в том, чтобы ставить робота в некоторую ситуацию, и смотреть, как он отреагирует. Если реагирует правильно (как нам нужно) - мы его поощряем, если неправильно - не поощряем или даже наказываем. Как когда собаке мы даем вкусняшку, когда она нашла учебную бомбу. Это рукотворный робот, так что мы знаем, как правильно поощрять или наказывать, чтобы нужное нам поведение закрепилось, ведь мы знаем, как у робота работает "закрепление".

С таким роботом, как и со служебной собакой: мы сначала дрессируем - ставим робота во всевозможные ситуации, и пытаемся закрепить нужное нам поведение, а потом, когда мы посчитаем, что надрессировали достаточно (если он сдал "экзамен") - мы будем уже ставить его в настоящие жизненные ситуации, чтобы он нам помогал. Так же, как служебная собака выходит на работу в настоящий аэропорт. В аэропорту никто точно не знает, сколько опасных ситуаций она пропустила, но мы знаем что она хорошо сдала экзамен, и поэтому считаем что она хорошо справляется.

Обучение нашего служебного робота состояло в том, что мы ставили его в учебные ситуации, и давали поощрения или наказания. Вот все эти учебные ситуации для робота называют "датасет". Дрессировка - не быстрый процесс, служебные собаки проводят первых год жизни в учебных центрах. Так и обучение алгоритмов (дрессировка роботов) требует множества "ситуаций" - их могут быть миллионы для некоторых задач. Такие наборы - где для каждой "ситуации" есть правильная "реакция" - очень важны, их бывает непросто получить. Например бывает, что правильные ответы (реакции) проставляют люди вручную - это кропотливый труд.