Конкурс инструкций
Промо

Объясните терминологию машинного обучения так, чтобы поняла ваша бабуля

Обновлено: в конкурсе от AI Russia выбрали шесть человек, которые доходчиво объяснили термины машинного обучения.

Материал подготовлен при поддержке проекта AI Russia

Машинное обучение и нейросети уже везде: от колл-центров до перерабатывающих заводов. Проект AI Russia собирает реально работающие ИИ-кейсы в библиотеку AI Russia Works, а самые выдающиеся проекты будут награждены премией AI Russia Awards.

Вместе мы запускаем конкурс на самое простое и интересное объяснение терминов из области машинного обучения. Задача не такая уж простая: тяжело объяснить технический термин человеку не из индустрии — вашей соседке, бабушке или племяннику.

Суть конкурса

В комментариях к этой статье дайте понятное определение любого из предложенных терминов. Вот они:

  • рекуррентная нейронная сеть;
  • свёрточная нейронная сеть;
  • дата-сеты;
  • случайный лес / решающие деревья;
  • градиентный бустинг.

Метафоры, аналогии, необычные сравнения — сделайте так, чтобы сложный термин понял человек, совсем далёкий от сферы машинного обучения.

Как будет проходить конкурс

Чтобы принять участие в конкурсе, нужно обязательно авторизоваться на сайте. После этого можно смело писать свой комментарий.

Конкурс продлится три недели — с 23 ноября по 14 декабря. До 23:59 7 декабря собираем комментарии, а затем подводим итоги.

В жюри будет команда из ИД «Комитет», Mail.ru Group, «Яндекса», МТС, «Газпром нефть». Они оценят оригинальность определений и вместе с тем их «понятность». Сыграют свою роль и лайки, но накрутить их не получится: такие вещи мы отследим.

В декабре объявим победителей в этом же материале и анонсируем его в соцсетях, чтобы вы не пропустили. Авторы пяти лучших комментариев получат призы, а их определения будут использованы в материале об искусственном интеллекте на vc.ru.

Призы

№1 «Капсула» — умная колонка с Марусей

№2 «Капсула» — умная колонка с Марусей

№3 «Яндекс.Станция» — умная колонка с Алисой

№4 Умная колонка МТС — с голосовым помощником Марвином

№5 Okko Smart Box — медиаприставка

№6 Okko Smart Box — медиаприставка

Победители

Планировали выбрать пятёрку определений, но в итоге отобрали шесть призёров.

Рекуррентная нейронная сеть

Приз: Умная колонка МТС — с голосовым помощником Марвином

Свёрточная нейронная сеть

Победительница: Мария Молчанова комментарий

Приз: «Яндекс.Станция» — умная колонка с Алисой

Датасет

Победитель: Kolyunyaкомментарий

Приз: «Капсула» — умная колонка с Марусей

Случайный лес

Победитель: Jack Volanкомментарий

Приз: Okko Smart Box — медиаприставка

Градиентный бустинг

Приз: «Капсула» — умная колонка с Марусей

Дополнительный приз

Свёрточная нейронная сеть

Победитель: Кирилл Буровин комментарий

Приз: Okko Smart Box — медиаприставка

Как распределились призы

Призы распределились между победителями случайным образом с помощью генератора случайных чисел. Вот ссылка на скринкаст.

Как получить приз

С каждым победителем мы свяжемся в личном сообщении на vc.ru и сообщим, как и где забрать подарок.

Также некоторые определения финлистов войдут в декабрьский материал AI Russia о самых интересных ML-кейсах страны.

Информация об организаторе, правилах, количестве призов, сроках, месте и порядке их получения по ссылке.

AI Russia Works — первая библиотека российских AI-кейсов с доказанной бизнес-эффективностью.

В библиотеке очень простая навигация, интерактивные кейсы и полезные материалы по реальному применению ИИ в бизнесе. В 2021 году самые успешные проекты из библиотеки будут награждены премией AI Russia Awards.

Библиотека и премия AI Russia — проект Альянса крупнейших технологических компаний по развитию искусственного интеллекта. В него входят Mail.ru Group, «Сбер», «Яндекс», МТС, «Газпром нефть» и РФПИ.

{ "author_name": "Ekaterina Ivanova", "author_type": "editor", "tags": [], "comments": 99, "likes": 15, "favorites": 144, "is_advertisement": true, "subsite_label": "promo", "id": 177821, "is_wide": true, "is_ugc": false, "date": "Mon, 23 Nov 2020 12:20:47 +0300", "is_special": false }
Конкурс технических инструкций
0
99 комментариев
Популярные
По порядку
Написать комментарий...
14

Наконец-то в Яндексе поняли, что они не умеют преподавать.

Случайный лес / решающие деревья – это когда одна бабка называет кого-то наркоманом или проституткой, но из неуверенности делает это с другими бабками, и их общее мнение в этом звучит громче, чем и определяет объект наркоманом или проституткой.

Ответить
1

А мне кажется, что их практикум — самая лучшая платформа для обучения. Я сам там не учился, но видел резюме, которые оттуда приходят и какие приходят с других платформ.

Ответить
0

Вы срез по резюме сделали? Ща вам на почту пару десятков "элитнейших" резюме с другой площадки прилетит и что тогда?

Ответить
7

Смотрел гитхабы кандидатов с разных площадок. Лучшие приходят из яндекса. Такое ощущение, что на других платформах проекты учеников просто не смотрят. Качество хуже, чем на часовых уроках уровня Getting Started на страницах определенных категорий.
Я не ищу выпускников физтеха с глубоким знанием алгоритмов, мне это и не нужно, но с задачей подготовить программиста под конкретную нишу они очень хорошо выполняют. Допускаю, что с алгоритмами и структурами данных там не все так хорошо, но ни один из сервисов на схожих курсах этого и не обещает.

Дело в другом, когда ищешь человека с опытом, разговор другой и гитхаб отходит на третий план, а когда ищешь джуна, которые о себе не могут рассказать больше, чем «закончил онлайн-курсы, возьмите меня», кандидаты, которым есть, что показать (хотя бы простецкий проект, сделанный за неделю), сильно выделяются и попадают как минимум в топ 10% среди остальных пустых резюме. В этом плане, кандидаты из яндекса показывают результат лучше, чем с других платформ, хотя и не без исключений.

Ответить
1

Ага, настолько лучшая платформа, что они даже вакансии джунов закрывать предпочитают в чатиках телеги и hh.

Ответить
0

А они разве гарантируют трудоустройство? В том и дело, что я слышал от людей, который там учились, что никакой стажировки им не обещают, а в рекламе на ютюбе слышал от их конкурентов про гарантированное трудоустройство и очередь из работодателей.
Самое главное, что я увидел — это, что на выходе люди получают реальные проекты, где есть на что посмотреть и не течет кровь из глаз, это сильно повышает шансы кандидатов.

Ответить
3

Вам про это и написали. У Яши вечная нехватка кадров, но предпочитают они ее закрывать не своими же (платными!) выпускниками.

Ответить
1

Так я о том же и говорю

Ответить
0

Уже третий месяц прохожу курс на Практикуме по направлению Data Science. Действительно, никто не гарантирует трудоустройство, но оказывают поддержку - помогают оформить портфолио, создать с нуля резюме (для большинства студентов это новая сфера), как говорить о себе и своих проектах. В среднем на поиск работы уходит от 3 до 8 месяцев (судя по отзывам). 

Мне очень нравится учебный процесс. Адекватные наставники по проектам, задачам в тренажере и консультации каждые выходные. Отдельно рад код-ревью. При проверке ревьюер дает комментарии и объясняет более рациональное решение, чем сделал ты сам. Ещё учат работать с документацией. Мне кажется, что это очень важно. 

О себе: я маркетолог-аналитик, но понял, что отстал от рынка. Решил сменить сферу деятельности и хочу попасть в ритейл или банк. Радует, что на сервисе есть проекты по кредитному скорингу и проекты по оттоку клиентов.

Ответить
0

маркетолог-аналитик

Но это ведь тоже важная профессия. Да и не такая запарная.

Ответить
0

Да, верно. Но я уже достиг потолка по зп и решаемым задачам. Банально скучно. Для роста нужны дополнительные знания. Сейчас маркетолог-аналитик постепенно переходит в сферу дата аналитики (на мой субъективный взгляд). Особенно это стало заметно во время карантина, когда работодатели стали повышать планку требований к таким специалистам. Вот и решил для себя, что мой текущий опыт вполне может "лечь" на навыки Data Science, ведь различные гипотезы/аналитика/выводы/ я уже делаю давно. Есть положительные кейсы, конвертированные в новые успешные и прибыльные продукты. Так что надеюсь - всё не зря) 

Ответить
2

когда работодатели стали повышать планку требований

Мне всегда было интересно, как так происходит. Вроде в начале было достаточно знать html и ты был высокооплачиваемым спецом, а теперь ты должен знать кучу всего и зарплата на уровне дворника. Норм смешали с грязью однако.

Ответить
0

А чему тогда учат на курсах? 10% навыкам джуна? или чему? Зато если есть "свои да наши", в простонародье "по блату" - что сейчас модно называть "нетворкингом" - то пожалуйста, и на собес пригласят и возьмут с бОльшей вероятностью).
При этом, я могу представить, что с потока в 50-100 человек, половина даже не пройдут до конца курс до конца. Но среди оставшихся что - не будет ни одного, кому бы можно было предложить работу? 
А чему ты тогда учишь-то, за такие деньги? 

Ответить
0

Практикум может быть и да, но лекторы у них вообще не умеют преподавать. Так плохо объяснять простой материал надо уметь.

Ответить

Комментарий удален

11

Сверточная нейронная сеть:
Дядя Вася работает в видео прокате, должен хорошо знать все фильмы, чтобы понимать, что советовать посетителям библиотеки посмотреть на досуге (комедию, трагедию, триллер и т. п.). Времени у него мало, чтобы все фильмы пересматривать, в итоге он решил смотреть все видео на скорости x10. И вскоре он настолько стал в этом хорош, что почти всегда угадывал, что это за жанр это был. Теперь если он видел мелькающие голые телеса - понимал "хех, еротика!", если ножи, бензопилы и куча крови "ох, ужосы!", если много лиц смеющихся " комедия енто, не иначе!".

Другой вариант:

Клара - начинающий эксперт по живописи(слабая НС). Чтобы отличить картины Да Винчи от других, она запомнила, что нос у персонажей Да Винчи всегда изображал с горбинкой. Теперь на выставках она всегда искала нос на картинах и изучала его изгибы (у неё даже трафарет был всегда при себе). Если нос по трафарету более менее подходил - осторожно заявляла: "Да Винчи"! На следующих курсах по живописи она узнала, что Да Винчи всегда картину подписывал (лол!), теперь она просто искала его подпись скраю (нос, однако, все равно проверяла для пущей уверенности!). The end! 

Ответить
1

Вам надо делать собственный курс 😂

Ответить
0

Поддерживаю

Ответить
10

Бабуль, помнишь, когда я маленький был, мы с тобой на рынок ходили, ты меня всегда учила, как выбирать хорошие яблоки. Ты из ящика брала по одному и показывала мне: вот это - зелёное еще, не подходит, вот это - побитое, не берём, вот это - с гнильцой, тоже плохое, а вот это - отличное - нам подойдёт.
Так вот - ящик с яблоками вместе с твоими объяснениями, какое хорошее, а какое - нет, и есть - "датасет" для задачи классификации яблок на хорошие и плохие.

Ответить
2

А разве это не нейронка с учителем?

Ответить
8

Градиентный бустинг – это как если бы экзамен сдавал бы не один очень умный студент, который сам может правильно ответить на 95% вопросов, а несколько тупых студентов, которые знают каждый по чуть-чуть, а всё остальное помнят очень плохо, но стараются угадать. Тогда бы каждый из этих студентов пробовал ответить на вопрос из билета так, как он помнит, а следующий студент корректировал бы ответ на столько, на сколько он сам помнит материал, и последний студент в цепочке в итоге отвечал бы на вопрос правильно на те же 95%. При этом первым всегда будет отвечать самый тупой студент, чтобы не запороть последовательность в самом конце.

Ответить
7

-Что такое градиентный бустинг, внучок?
-Бабушка, почему у тебя такие вкусные пирожки? Вот тетя Галя использует те же ингредиенты, у неё получается не так вкусно, как у тебя
-Это мой опыт. Я долго подбирала сколько соли нужно класть, яиц и так далее
-Ну хорошо. Для простоты возьмём только один градиент: соль. Вот ты положила 1 чайную ложку на 10 литров воды. Пирожки будут какими?
-Они будут пресными
-И что ты сделаешь?
-Положу больше соли
-Хорошо. Допустим ты положила 10 кг соли на 10 л. Пирожки какими будут?
-Солеными.
-Правильно. Значит, чтобы были очень вкусными пирожки нам нужно положить соль в диапазоне от 1 ложки до 10 кг.
-Ну да, нет смысла класть меньше одно ложки, так как будет пресно, и нет смысла ставить больше 10 кг, так как будет солено
-Да и поэтому твой следующий шаг выбрать какое-либо либо значение в диапазоне от одной ложки до 10 кг. Затем твой диапазон сузиться, и будет сужаться до тех пор, пока твои пирожки не достигнут максимум вкусности. Это и есть градиентный бустинг - сначала ты случайно выбираешь сколько класть соли, оцениваешь результат, выбираешь направление движение, шаг сколько соли класть и постепенно будешь подбираться к идеалу пирожков.
- внучок, но пирожки это не только соль и вода. Это и мясо и яйца, и много чего ещё
- конечно, но от этого метод не будет меняться, он лишь усложниться. Ты для каждого ингредиента будешь подбирать данный параметр, но нужно это делать в купе. Именно поэтому твои пирожки вкуснее чем у Гали: ты шаг за шагом подбиралась к тому, сколько ингредиентов нужно класть

Ответить
1

Топовое объяснение. Вы минимизировали функцию непонимания у всех, кто читает этот коммент. 

Ответить
7

напомнило этот легендарный твит 

Ответить
4

Бессмысленная затея, на мой взгляд) У меня есть родная бабушка 80 лет и опыт общения с пожилыми. Бабушка не совсем дремучая — умеет написать в вацап, снять и переслать фото, выполнить пошаговые действия, которые диктуешь по телефону, знает, что такое лимит трафика и как перевести деньги с карты на карту. Чтобы закрепить какой-то навык, ей, как и любому человеку, нужно несколько раз повторить и запомнить.

Но при этом ей не хватает понимания базовых вещей. Например, до неё не сразу дошло, что сайт в интернете доступен на каждом телефоне, а не «потерялся вместе со старым». И что интернет в гугл хроме и яндекс браузере — это один интернет. Она не знает о существовании ИИ, но с удовольствием пользуется Алисой, потому что это «яркая кнопка, которую легко найти на экране».

Любые аналогии к айти-терминам для неё остаются лишь аналогиями) Мир, в котором нельзя пощупать, увидеть, нажать, получить понятную обратную связь, для неё недоступен.

Мне кажется, полезнее загрузить пожилую голову информацией о том, как распознавать мошенников. От этого страдают намного больше людей, чем от незнания машинлернинга)

Ответить
4

Градиентный бустинг - сказка про репку, где её тянут сразу овердофига дедок и бабок для выдергивания репки. При этом слабых жучек и мышек по ходу пьесы отстреливают, чтобы не создавали толпы. Выжившие и будут тянуть в итоге репку.

Ответить
4

Бабуль, оно тебе надо !?))

Ответить
3

#свёрточная_нейронная_сеть 

Представьте, что вы журналист и вам показали тайную коллекцию картин. Картины по-истине прекрасны, а ещё они просто гигантских размеров. Вы решаете проникнуть ночью, сфотографировать их и выпустить сенсационный материал. 

Ночью вы проникаете в здание и понимаете, что картины переместили в узкий коридор. У вас есть профессиональный фотоаппарат с кучей всяких рычажков и настроек: фокусное расстояние, баланс света, выдержка и многое другого.

Из-за узкого коридора, отойти по-дальше и сфоткать хоть одну картину целиком у вас не получится.

Вы подходите к первой картине и начинаете фотографировать ее по кусочкам. Настройки фотика в положении "auto". Вы фоткаете от левого верхнего угла постепенно двигаясь вправо и вниз пока не дойдете до нижнего правого угла. Затем вы можете повторить тоже самое отойдя на пару шагов назад или вперед.

> Такие операции — фотографии по кусочкам — назовём "свертками". Размером свертки можно управлять подходя ближе или отходя дальше от картины. >>

Вы начинаете смотреть получившиеся фотографии и понимаете, что многие фотографии нечеткие, где-то не хватает света, а где-то его слишком много.

Вы подходите к другой картине и меняете настройки фотоаппарата. Повторяете тоже самое, что и с предыдущей картиной, делая операции свертки на тех же расстояниях от картины.

> Меняя настройки фотоаппарата, вы меняете "параметры свертки" (веса свертки). >>

Повторяя эти действия раз за разом вы меняете настройки фотоаппарата и с каждым разом фотографии получаются всё лучше и лучше. Это называется процессом обучения. Вы помните, как выглядят картины, так как видели их днем и поэтому при настройке фотоаппарата двигаетесь в сторону улучшения.

В конце концов вы находите те параметры, при которых получаются четкие фотографии, которые потом можно будет склеить и получить изображение целиком.

"Обучившись" на этом коридоре вы заходите в следующий и понимаете, что там находятся картины, которые даже вам не показывали ("они тайные в квадрате").
Вы используете полученные в ходе обучения настройки фотоаппарата, чтобы сфотографировать все картины в этом коридоре.

Сенсационная статья готова.

Ответить
3

ИИ - грубо говоря куча ифчков

Ответить
1

Все содержимое вселенной - это, грубо говоря, пустота и энергия

Ответить
3

Представьте себе ребёгка, который 10 лет провёл в джунглях, а затем его вернули в человеческое общество (привет, Маугли), и вместо того, чтобы научить его буквам, просто выдали ему... Скажем томик Войны и Мира, который он не разорвал, а попытался читать, хоть для него буквы и есть лишь красивые картиночки и не более, а в его памяти остались сочетания этих картиночек, которыми пользовался другой человек, и раз другие это читают, значит это правильно. Затем ещё книгу, и ещё, а после десятка книг ему принесли много-много кубиков с буквами и попросили сделать текст. Так как точно наш мальчик предложения зазубрить не в силах, слова--то он помнит, поэтому стал по памяти выкладывать что-то, что было похоже на то, что он видел на тех листиках с картинками. Подобный результат даст вам и рекурентная нейронная сеть, разве что процент неправильных буковок в словах, в виду идеальной памяти компьютера, будет куда меньше. 

Ответить
3

случайный лес / решающие деревья

Так называют популярный алгоритм машинного обучения. Сейчас объясню.
Допустим, перед Новым годом в детском саду собрались родители, чтобы определиться с подарками.

Каждый родитель должен предложить свой вариант, например, мама Марины остановилась на плюшевой игрушке. Но эта идея не взялась из воздуха.

Рассуждения мамы Марины можно представить как дерево решений. Она думала: «Хочу ли я, чтобы мой ребёнок получил конфеты?» Ответ «да» поведет к новой цепочки рассуждений, ответ «нет» — к другой. И так пойдёт до вывода, что нужна плюшевая игрушка.

Если каждый родитель — это дерево решений, то вместе они будут случайным лесом, ведь все люди разные. Когда родители озвучат свои решения, станет понятно, какие подарки лучше выбрать.

Да, один родитель выберет быстрее, но его решение вряд ли устроит большинство. Поэтому всегда лучше советоваться. С компьютерами всё как с людьми. Правда?

Ответить
1

Уважаемые организаторы, я правильно понимаю, что победители платят налог 35%, для чего подают декларацию 3-НДФЛ?

Ответить
5

Владислав,  в конкурсе организатор этот вопрос берёт на себя. Победители налог не платят.

Ответить
2

тогда супер.

Ответить
0

Да, уникальная возможность выиграть себе еще один очень нужный и полезный "нолог" 😀

Ответить
4

Артем, нет, в данном конкурсе организатор берёт этот вопрос на себя.

Ответить

Комментарий удален

2

дата-сеты:
Представь что перед тобой лежат книги: конституция, УК РФ, семейный кодекс, налоговый кодекс и другие. Чем датасет жирнее, тем лучше нейрона сеть(человек) находит ответ на свой вопрос. Однако, если в датасете не прописаны или слабо описаны ситуации, которые дают неоднозначный ответ, то тогда нейроная сеть будет пороть хуйню. Как в случаи с двойным налогообложением, пиздить жену раз в год, самооборона в собственном доме и т.д.

Готов принять Яндекс.Станцию.

Ответить
2

переобучение забыли в список добавить. Если бабка не поймет этот термин - остальные объяснять смысла ноль.

Ответить
2

Градиентный бустинг

Представим, что есть поликлиника, в нее приходит множество пациентов с самыми разными симптомами, и каждому нужно поставить диагноз.

Можно посадить одного очень умного врача, который разберется со всеми случаями в одиночку. Но таких широких и глубоких специалистов не найти.

Еще можно собрать независимое мнение нескольких врачей, и поставить диагноз путем голосования. Это работает, но практика показывает, что надо собрать очень много разных мнений, чтобы путем голосования получалось намного лучше, чем у одного врача.

Лучше мы сделаем так, чтобы они работали сообща, а не по-отдельности. И вот каким образом.

Пациент всегда начинает с терапевта. Терапевт его осматривает, и пишет свое заключение, где пишет свой предполагаемый диагноз.

Далее пациент всегда идет к хирургу. Хирург осматривает, читает мнение терапевта и корректирует его, если считает что тот не прав. Ведь в некоторых вопросах он разбирается глубже, чем терапевт.

Далее пациент всегда идет к кардиологу. Кардиолог уже знает, что пациента осматривал терапевт и хирург, и смотрит их заключение. Он им доверяет, но если он считает что терапевт и хирург, например, пропустили проблему с сердцем, то он вносит исправления в итоговый диагноз.

Далее пациент пойдет к невропатологу, потом к онкологу...

В конце он получит один диагноз от пяти специалистов, которые сработались друг с другом. Каждый специалист знает, в чем он силен, а в чем лучше довериться своим коллегам, и поэтому их знания дополняют друг друга.

Настоящий консилиум не обязательно должен проходить по цепочке, но идея та же - профессиональный сработавшийся коллектив умнее, чем много отдельных универсальных специалистов, даже если они определяют диагноз вместе, голосованием.

"Градиентный бустинг" - это как раз такой способ составить простые алгоритмы в одну цепочку, чтобы они "сработались" друг с другом, и каждый из них исправлял ошибки предыдущих.

Ответить
2

случайный лес / решающие деревья

В детстве ты мне сказки рассказывала, теперь я тебе быль-небылицу расскажу

Напали на Русь басурманы окаянные. Деревни жгут, девок портят да поля топчут.

Окружили они Чернигов . Богатыри вышли, лица суровые сделили, начали мечтами да булавами махать. А басурманам хоть бы хны. Войско у них на все случаи жизни подготовлено: быстрый сильному помогает, сильный - быстрому. Нет мест слабых. Проиграли богатыри.
Пал Чернигов

Добралось злодеи до Новгорода. Новгородцы решили договориться: каждому воину по рублю дать, чтоб город не трогали. Достали государи да купцы закрома свои и стали раздавать по монете в руки. А войско то большое, тьма-тьмущая солдат в орде их. Не хватило денег у богачей новгородцев.
Пал Новгород

Киев остался один. Направились басурманы туда. В Киеве богатыри с купцами спорят, как быть, что делать. Князья голову ломают, придумать что-то патаются. Тут Василиса Премудрая слово берёт:
- Врагов наших море, разом мы их не победим. Разделить их надо. Но по хитрому. Поделим глупо - проиграем. Нет мест у них слабых, ежели делить случайно.
Рассказала Василиса план свой - понравился он всем. Князь тут же указ подписал.

Идет войско басурманское на Киев через лес гремучий - с дорожки сойдешь, сразу потеряешься. Выходят на развилку, а на развилке камень лежит вместо указателя. На камне - послание. "Сильные - направо, слабые - налево." Указателя на Киев нет, приходится басурманам делиться. Сильные идут направо, слабые - налево. Идут уже 2 войска на Киев, а на следующей развилке опять камень: "быстрые - направо, медленные - налево". Опять делятся воска.

И так мноооо-го-много раз. Придумала Василиса делить войско на каждой развилке на 2 противоположные друг другу группы, чтобы изъяны проявить.

Приходит первая к Киеву самая быстрая конница, а им петарды под копыта кидают. Лошади испугались, да скинули всадников. Всадников без лошадей быыыстро победили.
Потом пришли самые сильные, им засаду лучники приготовили. У силачей только мечи - нечем ответить.
Потом другие приходили, но их тоже быстро побежали. Сила войска в разнообразии и числе была, а Васелиса поделила их на маленькие группы по чертам разным. Вот так и выстоял Киев благодаря лесу да деревьям

Сказка ложь, да в ней алгоритм машинного обучения

Ответить
2

Случайный лес / решающие деревья
Депутатам нужно принять важный закон, а для этого познакомиться с тысячей документов. Но каждый депутат успеет прочитать только сто случайно выбранных документов. Депутаты голосуют на основании прочитанных документов. Принять или не принять закон решает большинство голосов. 

Ответить
0

Каждый депутат - "решающее дерево", а вместе они - "случайный лес".

Ответить
1

Датасет если переводить дословно то это просто набор данных. Так как обычно они используются для машинного обучения, например классификации, то это набор одинаково структурированных данных, т. е. Это либо набор картинок одинакового размера или таблица где строки образуют набор а столбцы разные свойства одного обьекта. Очень часто у всех элементов такого набора есть свойство которое надо уметь предсказывать. 

В задаче сказано далекий от машинного обучения, но не значит бабка. Так что не думаю что стоит использовать метафоры если хочеться именно вникнуть в суть понятия.

Ответить
1

Бабушка: Внучек, о каких дата-сетах для нейросети по коробке говорят?
Внук: Бабуля, тут все просто. Смотри: мы с тобой сейчас лепим пельмени, так?
Бабушка: Ага, чтобы Петьку покормить!
Внук: Так вот, чтобы Петька понял как выглядит пельмень, ему их сначала целый противень надо съесть. Также и нейросети, чтобы она поняла что перед ней, ей тоже надо  дата-сетов скормить, только не противень а больше!
Дата-сеты это противни с пельменями, противни же все одинаковые, но пельмени в них все разные. Так и данные в дата-сетах относятся к одному, но между собой они разные.
Бабушка: А что если я Петьке пирожков напеку вместо пельменей?
Внук: Тогда это будет дата-сет пирожков. Чем больше Петька их съест, тем лучше будет различать пирожки от пельменей. Хоть он и маленький ещё но если скушает достаточно то сможет различать их между собой.
Бабушка: А эта ваша нейросеть тоже сможет отличать?
Внук: Конечно, она не далеко от Петьки ушла, если накормить её дата-сетами то и она различать научится.
P.S. Приятного аппетита)

Ответить
1

Машинное обучение - внук показывает бабушке как выглядит ватсап и одноклассники. Потом мешает иконки, и просит бабушку найти самой

Датасет - внук просит бабушку вспомни любой документ табличной формы из времен СССР, тоже самое но в электроном виде

Решающее дерево - Когда бабушка взвешивает все за и против твоей невесты

Случайный лес - Когда несколько бабушек взвешивают все за и против твоей невесты а потом обсуждают

Градиентный бустинг - Когда бабушка старается понять сколько соли надо в суп. Пробует, и понимает что нужно больше, добавляет соль и пробует снова. Либо пробует, и понимает что нужно меньше - добавляет воду и пробует снова. И так пока не найдет оптимальный солености суп

Ответить
1

Сверточная сеть - это когда в темный подвал спустился с фонариком, начинаешь по полкам водить и запоминать где чего стоит, искать какие то ориентиры, чтобы определить где стоят банки, а картошка с морковкой лежат, потом осмотрев все, подходишь  и уже светишь конкретно на банки поближе, смотришь этикетки или форму банки, чтобы понять где конкретно та, которую ищешь - когда нашел нужную банку на нужной полке, берешь ее и идешь ставить ее на стол. Так же и сверточная сеть сначала ищет на изображении более общие признаки (где лежат банки, а где картошка), затем более высокоуровневые (различаем этикетки на банках) и делает предсказание (выбираем нужную банку).

Почему то что то такое пришло в голову)

Ответить
1

Ты стоишь сейчас передо мной потому что до тебя было много поколений, все они проходили естественный отбор и учились друг у друга - эволюционировали.  Вот тебе и градиентный бустинг)

Ответить
1

Нейронная сеть - будто муравьиная супер-группа, которая за счет своей организации помогает обучаться и решать маленьким муравьям (нейронам) задачи на десятки-сотни порядков более сложные, чем одному муравью было бы по зубам.

Рекуррентная нейронная сеть - это будто самоорганизующаяся супер-группа муравьев (нейронов), где каждый помнит за кем и как идёт, учится чему-то своему и может передать общую картину и свое мнение (проводит анализ) по какому-то из её аспектов в зависимости от его содержания некоторым из своих последователей, тем самым формируя сложные динамичные цепочки, что, например, позволяет группе муравьев по началу предложения сочинять его окончания, или даже писать целый рассказ, по первым сценам фильма угадывать его дальнейший сюжет и концовку, понимать зашумленную речь и неряшливый почерк, т.е. решать такие задачи, где важна последовательность событий и порядок расположения объектов.

Сверточный нейронная сеть - это будто самоорганизующаяся супер-группа муравьев (нейронов), где каждый помнит за кем и как идёт, учится по-своему пересказывать своим последователям самое важное из куска того, что слышал от своих предшественников (проводит анализ), за счет чего с каждым последующим рядом муравьев сложное явление становится всё более и более простым, что упрощает принятие решений, так, например, "Война и мир" сворачиваются в лаконичный пересказ, достаточный для того, чтоб по отдельным фактам узнать его среди остальных романов Толстого, или вообще романов, или из сложного ландшафта сделать простую карту, достаточную для того, чтоб в нем не заблудиться.

Дата-сеты - это учебные полигоны и места сражений (анализируемые данные), где муравьиные супер-группы (нейронные сети) тренируются и применяют навыки своей самоорганизации (за кем и как идти), а отдельные муравьи - навыкам принятия решений (кому и что передать дальше), кто-то из них в следствие этой самоорганизации, например, обращает внимание на цвет листка, кто-то другой на его форму, кто-то на что-то другое, а вместе они по фотографии листка могут определить какому виду деревьев он принадлежит. 

Ответить
1

Случайный лес — это когда 6 знатоков минуту обсуждают вопрос, а отвечать будет Максим Поташев.

Ответить
1

Рекуррентная нейронная сеть, это как составление народного календаря, когда люди наблюдают погоду в один и тот же день в течение многих лет, какую-то информацию забывают, какую-то запоминают на следующий год для того, чтобы спрогнозировать урожайность.

Ответить
1

А по-русски нельзя? 

Ответить
1

 Такое впечатление, что вы сами толком не понимаете, что пытаетесь объяснить. Бабушке это надо? По-русски обясняйте и вас поймут, а не птичьим языком. 

Ответить

Комментарий удален

0

Датасэт это как кладовка с запасами еды у бабушки в деревне: каждая банка с вареньем или компотом обязательно подписана («варенье клубничное», «варенье малиновое» и тд), и все банки стоят строго на своей полке в зависимости от названия (форма и размер банки в данном случае роли не играют).

PS. если вдруг вам не хватает датасета, и вы решили применить методы аугментации, то достаточно сказать бабушке «я голоден», и количество всех запасов еды увеличится в 2 раза:)))

Ответить
0

Датасеты это как книги. Можно по книгам учится. Если читать качественные книги на определённую тему. Например, чтоб научится математике, нужно читать учебники по математике, алгебре, геометрии от хороших авторов и издателей. 

Так и датасеты собирают, чтоб научить модель решать определённые задачи, дать ей специальность. И как в школе, после обучения моделям проводят экзамен, дают диплом с оценками.

Ту модель, которая получила лучше оценки, нанимают на работу - отправляют на продакшн.

Ответить
0

Датасет - буквально "набор данных", обрабатывая которые мы хотим получить осмысленный логический вывод.
Поэтому главное, что нужно знать про датасеты - датасет должен соответствовать типу решаемой задачи. Например, зная профессию - можно довольно точно предсказать зарплату, а вот по знаку зодиака - никак.
Соответственно, решение любой задачи невозможно, пока нет правильного набора исходных данных... т.е. датасета)

Ответить
0

- Помнишь был один странный мужик, который ставил опыты над обезъянами? Садил их в клетку, вешал банан, чтобы они дотянуться не могли и давал им палку. 
- Нет, это не про живодеров и садизм. Это про науку...
Не издевался над ними этот мужик. Просто садил их в клетку, вешал банан повыше и давал палку обезъянам. И все обезъяны оказались умными, сбивали банан палкой и съедали его.
Фигасе, подумал странный мужик. Это открытие! И написал книгу про теорию умных обезъян, где подробно описал свои каждый опыт и вывод, что если дать 1000 обезъянам палку и повесить банан высоко, то они все будут пытаться сожрать банан(и съедят) вне зависимости от их пола, роста, длины хвоста и т д. 
Многие не поверили станному мужику, решили повторить подобный опыт и удивились, когда обезъяны палкой сбивали банан и сжирали его.
Им ничего не осталось, как признать странного мужика великим ученым, а волшебную книгу с описанием всех опытов и выводами, по которой можно было угадывать что сделает обезъяна дата-сетом.
Книга стала популярна, странный исследователь стал известным и уважаемым человеком, денег много заработал. 
Тут и сказочке конец, а кто дочитал до конца, ставь банан!

Ответить
0

Бабуль, дата-сет - это что-то вроде словаря или энциклопедии. Он даёт базовую, достоверную информацию, от которой можно отталкиваться, что бы сделать какой-то вывод, найти ответ на вопрос, или решить задачу. Знаешь ты, например, что 1+1=2, значит можешь сделать вывод, что 2+2=1+1+1+1. Нужно написать предложение без ошибок, открываешь словарь, а там все нужные слова правильно написаны.

Ответить
0

Решающее дерево (дерево принятия решений) - тот самый метод, который мы постоянно используем в нашей жизни - типа, если погода будет хорошая, пойду гулять. При этом в понятие "хорошая" может входить много разветвлений (веток) - солнечная или нет; если не солнечная - то дождливая или нет, если не дождливая - то теплая ли и т.д.
Если надо согласовать прогулку с несколькими друзьями - то получим уже лес деревьев решений. Случайным он называется потому, что исходные представления у понятий "хорошая-теплая-солнечная..." у всех разные. И решение, одно для всех, будет принято путем голосования.

Ответить
0

Градиентный бустинг - 
Президент руководит страной, где-то преуспевает, в чем-то слабоват. На новый срок народ выбирает нового, который полгода учится на допущенных на прошлом сроке ошибках. А предыдущий не уходит, а становится пожизненным сенатором, и теперь они правят вместе. Добавляя с каждым новым сроком нового президента таким образом, мы будем делать управление страной все более качественным, если каждый будет иметь сильных сторон хоть на чуточку больше, чем слабых. 
(все персонажи вымышлены, совпадения с Конституцией и законами РФ случайны) 

Ответить
0

Датасет - набор данных (большая таблица), используемый для обучения нейросети и ее работы. Давайте представим, что нейросеть - это специальное устройство, адаптивный фильтр, который пропускает через себя информацию, фильтруя и преобразуя ее и попутно изменяя свою внутреннюю логику. Тогда датасет - это:
1) первоначальная (сырая) информация, которую мы подаем на вход нейросети. Можно сказать, что это ее еда, переварив которую, нейросеть выдаст что то полезное (или не очень 😉)
2) иногда к первому пункту добавляется вторая часть - подсказка для сети какой информации на входе должна соответствовать какая информация на выходе. Т.е. мы ей говорим: вот тебе картинка (т. е. табличка, числа в которой говорят в каком месте какого цвета точку нарисовать) - это вход, вот тебе ответ: "котик" - это выход (или ответ). Теперь ты должна стремится изменить свою внутреннюю логику так, что когда мы дадим тебе следующую похожую картинку - ты должна выдать нам ответ "котик".

Ответить
0

Градиентный бустинг - так грозно называется всего лишь всем известное увеличение или уменьшение величины некоего свойства, наблюдаемое при переходе от одной точки или момента к другой.
Это изменение величины методом "туда-сюда" используется для нахождения оптимального значения нужного параметра.
Например, когда мы крутим кран в душе, постепенно уменьшая амплитуду (но, возможно, меняя направление вращения) - это и есть градиентный бустинг.

Ответить
0

Рекуррентная нейронная сеть - это сеть с "памятью". Во многих практических случаях нам необходим контекст - даже сейчас, читая это предложение, мы получаем смысл последовательно, слово за словом. Если слова подать "мешком" - то смысла в предложении не будет.
Не менее часто в качестве последовательностей мы имеем дело с временными рядами - когда какие-то величины изменяются с течением времени (температура, курс доллара и т.п.).
Так вот, рекуррентная сеть имеет дело не только с текущим значением из набора данных (конкретным словом или сегодняшней температурой) - но и с его историей (правда, не очень длинной обычно).
За эту память отвечают специальные блоки, или рекуррентные слои.

Ответить
0

кто может подсказать мне вектор правильный - как и где можно сделать свой маленький персональный ИИ? что мне для этого нужно?
задача такая - сделать подобие тамагочи, чтобы он "жил" у меня на компе-смартфоне, обучался, мог взаимодействовать с текстами, фактически чтобы грамотно отвечал на сообщения, мог работать с поступающей к нему информацией, обрабатывать ее и тд.
например, даешь ему команду "найти в папке с файлами фото зеленого автомобиля" и чтобы искал или мог работать с поиском в интернете или вплоть до того, чтобы вместо меня комментарии писал в соцсетях.
насколько это реально реализовать и куда для этого смотреть?

Ответить
0

Нереально, просто жди пока условная Сири научится все это делать. Маленький или большой не имеет в данном случае особого значения.

Ответить
0

Сири мне не надо, я хочу свой собственный код

Ответить
0

Для бабушки:

ИИ - не совсем интеллект в его общем смысле, т.к. лишён всех его признаков, однако ИИ разделяет с интеллектом такими важные признаки, как "обучение" и "решение проблем".

ИИ - это, прежде всего программа, которая умеет повышать эффективность решения узкого круга проблем, на которые его заточили учёные и инженеры, с помощью обучения. При обучении программа каждый раз сравнивает полученный результат с желаемым и, при недостаточно качественном результате, отбирает более эффективные способы решения.

———————————————————————————————————-

Кратко:

ИИ - не совсем интеллект в его психолого-философском смысле, т.к. лишён всей полноты понятия, однако разделяет его такие важные признаки, как "обучение" и "решение проблем". ИИ - это, прежде всего ПО, которое умеет учиться и повышать эффективность решения узкого круга проблем, на которые его заточили учёные и инженеры.

———————————————————————————————————-
Длинно:
Чтобы определить что есть искусственный интеллект, давайте углубимся в корневое понятие - интеллект. По краткому толковому психолого-психиатрическому словарю интеллект это "общая мыслительная способность, позволяющая преодолевать трудности в новых ситуациях".

Важно сказать что интеллект в философии сопряжён с понятием воли, и открыта дискуссия о том, подчинён ли интеллект воле, или наоборот. Очевидно, в топике ИИ воля неприменима.

Объект, обладающий ИИ (вычислительная машина), при этом, не обладает волей. Воля диктуется его создателем, ровно как и степень новизны ситуаций, которые он способен решать.

Говоря о новизне ситуации - если ситуация не вписывается в строго описанный круг признаков ситуации, подлежащей анализу, то ИИ, не смотря на свою мощность и эффективность в ситуациях, соответствующих его специализации, не сможет столь же эффективно сработать в незнакомой ситуации. Более того, если его подвергнуть бесчисленному количеству таких ситуаций без расширения признаков, он не станет в них ничуть эффективнее.

Выводим, что когда мы говорим об ИИ в текущей его реализации, слово интеллект имеет несколько иное значение. Проще наверное будет дать определение через выведение корневого понятия и достаточного количества признаков, чтобы описать наш объект интереса.

ИИ - это программное обеспечение, которое по определённому набору признаков анализирует события среды (входных данных), и повышает свою эффективность для решения надлежащих задач.

Здесь слово "искусственный" проистекает из того, что это ПО созданное руками человека.

А насчёт слова "интеллект" - как сказано в первом абзаце статьи [https://www.wikiwand.com/en/Artificial_intelligence] в википедии, слово "интеллект" используется, поскольку это ПО разделяет с психолого-философским понятием интеллекта признаки "обучения" и (я бы добавил, эффективного) "решения задач".

Друзья, если вам нравится ход мысли, прошу вас поддержать коммент.

Ответить
0

Какой же ограниченный народ. Все про бабушку пишут. Господа Яндоксоиды и коллеги, в следующий раз не давайте подсказку :)

Ответить
0

Вот хочешь ты пойти погулять. Но на твое решение, идти гулять или нет, влияет множество факторов. Есть ли за окном дождь? Если нет, то точно не идешь. Если да, то какая температура? Если меньше нуля, то не идешь, если больше, то смотришь, есть ли у тебя подходящая обувь. И так далее.
Это можно нарисовать как дерево с развилками "да-нет". Это и есть решающее дерево.

А случайный лес — это много таких деревьев, каждое из которых учитывает только часть факторов.

Ответить
0

Градиентный бустинг.
Компуктер пытается с помощью проб и ошибок найти зависимость чего-то от чего-то. Чтобы это сделать он делает попытку угадать результат и смотрит насколько промазал и, в зависимости от этого, делает следующую попытку.

Ответить
0

Я своей бабушке объяснял что такое ИИ и чатботы, а она все не моглда понять кто же там в телефоне (в телеграме) говорит, если это не человек)).
Но в итоге простое объяснение, что просто было собрано много высказываний людей и поэтому нейросеть научилась говорить как человек - сработало. Замечу, что даже без объяснения как она работает, тк бабушка по умолчанию думала, что работает нейросеть как мозг (что конечно не так).
А еще интересно как я объяснил что такое блокчейн: дело в том, что нет простых аналогий, это как раз тот случай, когда в аналогии точно потеряется важный смысл, например невозможность его переписать.
Но я сделал так: представь, что кто-то поставил одну на другую столбиком(как кубики) тяжелые большие сумки весом по 300кг и каждая следующая сумка ставится сверху,а а сами сумки ставятся на городской площади, что все мимо них ходят и глазеют.
Тогда, содержимой сумок это блоки блокчейна, их тяжесть и объем и то что один человек не может поднять и заменить сумку - это свойство цепочки, но при этом если они соберутся кучкой то смогут это сделать(атака 51%), а площадь - это распределенность.
Видел еще аналогию с вязанием: но там все-таки можно не перевязывая прошлой части довязать сверху сбоку и тп и теряется смысл неизменности.

Ответить
0

Сверточная нейронная сеть — это как вязать внуку свитер по фотографии с его любимым персонажем крупным стежком. 

Ответить
0

Интересный подход у Яндекса однозначно. Хотел бы в будущем найти свою команду и обучиттся созданию интересных проектов с deep learning. С чего начинать может кто даст совет?) 

Ответить
0

С нахождения партнеров с новыми идеями.

Ответить
0

Ну, если моя задача объяснить бабушке, то дата-сет это её записная книжка с рецептами.
А еще лучше, это записанный от руки рецепт для соседки, муж которой очень хочет чтобы она научилась делать такое же заливное. Главное условие, бабуль, чтобы не было формулировок "соль на глаз", наша соседка очень прямолинейный человек. 

Ответить
0

#датасет

Датасет - это букварь. Вы по этому букварю изучаете буквы и потом можете при чтении отличить одни слова от других. Но так как есть не только русский язык, а еще и масса других, то важно, чтобы ваш букварь был на том языке, слова которого вы собираетесь отличать.

Ответить
0

Датасеты: Что такое датасет? О, бабуль, это очень просто. Вот решила ты проинспектировать свои запасы консервации и отправляешь в подпол деда: "Хочу, говорит, быть владычицей морскою!" А не, не то. - "Хочу, увидеть свои закатки с огурцами, за последние 5 лет. Дед, подсоби, а я, мол, пока обед с готовлю." Дед, кряхтя двигает старую лавку о одной ноге, откидывает половик и сползает через лючок в подпол. Там у тебя, сама знаешь, что краснознаменные полки перед парадом стоят стройными рядами десятки, а то и сотни банок, сама небось со счета сбилась, а!? Потратив все утро дед вытащит оттуда на пол все необходимое, но так, как лаз маленький, а бегать туда сюда ему уже возраст не позволяет, будет ставить банки друг на дружку. И так он их хитро поставил, что в одном ряду у него только зозули, причём в в одной колонке за 16 год, в другой за 17й, и так далее вплоть до тех, что ты в этом году закрыла. В другом ряду будет уже свой сорт, что ты с деревни привезла и также по годам расставленый. Ниже соседский и тоже по годам. Вот такая стена солёных огурцов и есть датасет, набор данных, так сказать, - выборка из массы банок только тех которые тебя интересуют, чтобы смогла понять скажем сколько в каком году удалось закрыть огурцов, лучше или хуже родит земля, хороший ли уксус ты берёшь - не поправилась ли, ну и так далее. Обращайся, бабуль) 

Ответить
0

рекуррентная нейронная сеть - это когда компьютер решил быть Донцовой и ведёт расследования, делает выводы и решает "кто мусорит в подъезде?" и "что посадить на огороде следующим летом, если будет много дождей?"

Ответить
0

Дата-сеты (в AI) - это информация (выборка), записанная в табличном виде, которая была специально обработана и структурирована для последующего использования алгоритмами машинного обучения. Простыми словами - это правильно и внимательно заполненная таблица.

Супер простой пример:
Таблица умножения - является дата-сетом

Пример чуть сложнее:
Мы хотим построить регрессионную модель, которая покажет зависимость расхода топлива от разных параметров (цвет машины, мощность двигателя, размер машины, количество пассажиров и т д). Чтобы построить такую модель, данные нужно записать структурировано в таблицу, чтобы ПО смогло их принять и показать зависимости. Данная таблица может иметь следующий вид:
1 столбец - расход топлива;
2 столбец - мощность двигателя;
3 столбец - цвет машины;
и т. д.
Под каждым столбом должны быть записаны только нужные данные: под мощностью только лошадиные силы, под расходам топлива только литры и т д. Это и будет считаться дата-сетом.

Ответить
0

Дата сет это набор рецептов с количеством граммов на конкретный ингредиент, которые бабуля оставила мне на лето пока она тусит на даче

Ответить
0

Сверточная нейронная сеть - представьте, что вы прыгнули с парашюта, вы сначала видите поле, потом начинаете различать очертания домов на этом поле, потом начинаете видеть более детальные черты крыш этих домов, а уже вблизи вы приземляетесь около конкретного дома.
Датасет - представьте, что вам необходимо записать контактную информацию по своему родственнику, вы открываете телефонную книжку, записываете туда ФИО человека, дату рождения, телефон, так вот эта собранная информация в книжке по каждому человеку это и есть датасет.

Ответить
0

Решающее дерево - представьте, что вам надо решить, как вы будете оплачивать покупку или подарок на новый год, если стоимость покупки небольшая, то вы сможете оплатить его самостоятельно, после определенного порога, вам придется попросить взаймы у родителей, если они готовы дать, то вы оплатите покупку совместно, если родители не готовы вкладываться, то вы будете дальше думать, как получить кредит в банке. Таким образом, ответив на все вопросы для себя, вы и построите решающее дерево по источникам средств, из которых будет оплачена покупка.

Ответить
0

Датасет

Нейронная сеть — это искусственный интеллект, который можно обучить чему угодно.

Он может сказать, например, болен человек или здоров. Для этого сначала ему надо научиться это сделать. Ему показывают, что вот у человека сильный кашель, высокая температура, слабость. Скорее всего этот человек болеет. А вот другой человек, у него просто слабость, скорее всего он просто устал и ему надо отдохнуть. После того, как нейронная сеть посмотрит огромное количество больных и здоровых людей, то сможет очень точно поставить диагноз.

Для обучения искусственному интеллекту нужно очень много данных — чем больше, тем точнее он будет ставить диагноз. Эти данные для обучения и называют датасетом.

Ответить
0

Градиентный бустинг - это когда вы с корешами по очереди пытаетесь пройти тот самый блядский уровень

Ответить
0

Датасет

Загадочное "машинное обучение" на деле - это дрессировка тупеньких роботов.

Это похоже на служебную собаку, которую мы еще щенком натаскиваем искать взрывчатку. Только собака намного сложнее наших роботов. Наши роботы настолько тупенькие, что умеют только что-нибудь одно, у них даже нет собственного тела, они существуют внутри обычных компьютеров.

Дрессировка заключается в том, чтобы ставить робота в некоторую ситуацию, и смотреть, как он отреагирует. Если реагирует правильно (как нам нужно) - мы его поощряем, если неправильно - не поощряем или даже наказываем. Как когда собаке мы даем вкусняшку, когда она нашла учебную бомбу. Это рукотворный робот, так что мы знаем, как правильно поощрять или наказывать, чтобы нужное нам поведение закрепилось, ведь мы знаем, как у робота работает "закрепление".

С таким роботом, как и со служебной собакой: мы сначала дрессируем - ставим робота во всевозможные ситуации, и пытаемся закрепить нужное нам поведение, а потом, когда мы посчитаем, что надрессировали достаточно (если он сдал "экзамен") - мы будем уже ставить его в настоящие жизненные ситуации, чтобы он нам помогал. Так же, как служебная собака выходит на работу в настоящий аэропорт. В аэропорту никто точно не знает, сколько опасных ситуаций она пропустила, но мы знаем что она хорошо сдала экзамен, и поэтому считаем что она хорошо справляется.

Обучение нашего служебного робота состояло в том, что мы ставили его в учебные ситуации, и давали поощрения или наказания. Вот все эти учебные ситуации для робота называют "датасет". Дрессировка - не быстрый процесс, служебные собаки проводят первых год жизни в учебных центрах. Так и обучение алгоритмов (дрессировка роботов) требует множества "ситуаций" - их могут быть миллионы для некоторых задач. Такие наборы - где для каждой "ситуации" есть правильная "реакция" - очень важны, их бывает непросто получить. Например бывает, что правильные ответы (реакции) проставляют люди вручную - это кропотливый труд.

Ответить
0

asdfasdf

Ответить
0

Что такое дата-сет? Это набор данных, благодаря которому "машина" может чему-либо научиться.

Представь, что "машина" - это ребенок, которого родители хотят научить отличать жирафа от зайца, а кенгуру от леопарда.
Такого ребенка мама поведет в зоопарк и покажет животных, объясняя кто это. И для ребенка животные в зоопарке будут дата-сетом.

Или папа покажет малышу книжку с рисунками животных. А когда ребенок будет листать страницы, услышит от папы "это зебра, а это леопард". И это тоже дата-сет. Папа даже может рассказать, что "зебра - это полосатая лошадка", и тогда признаки, по которым можно отличить зебру, в машинном обучении мы назвали бы фичами.

А теперь представь, что малыш вырос, пошел в школу и изучает основные события Второй мировой войны. Тогда таблица в книжке с основными датами и событиями - это тоже дата-сет, на котором наш ребенок учится.

Ответить
0

Рекуррентная нейронная сеть
Если бы рекуррентная нейронная сеть стала человеком, она была превратилась в школьника, которому задали выучить четверостишие.
  
В отличие от обычной нейронной сети, наш школьник видит в тексте не просто набор каких-то слов, а связанную последовательность.

Школьник учит текст слово за словом, по-очереди (поэтому и рекуррентная), запоминая, что после "лукоморья" идет "дуб зеленый", а если встретится "злотая цепь", то на ум сразу прийдет "на дубе том". Это и выделяет рекуррентную сеть на фоне остальных - она обладает памятью.

А еще рекуррентная сеть могла бы стать золотой рыбкой, которая хорошо помнит только последние 3 секунды жизни. Дойдя до конца произведения Пушкина, она смогла бы воспроизвести уверенно только последние четверостишия. С каждой новой информацией, рекуррентная сеть хуже помнит то, что было в начале.

Рекуррентные нейронные сети справляются с задачами анализа текста, распознавания речи (перевод аудио-записи в текст), а также прогнозирования следующего слова на основе предыдущего. Именно способность обрабатывать связанные элементы (буквы в словах, звуки в речи и т.д.) помогает решать эти задачи.

Ответить
0

Случайный лес
Чтобы разобраться, что такое случайный лес в машинном обучении, представь обычный лес.
Хотя нет... чтобы было интереснее, пусть это будет не обычный лес, а Запретный лес из Гарри Поттера. И давай поместим в этот лес Гарри, Гермиону, Рона и Невилла. 
Гуляя по лесу, встречают друзья зверюшку и им нужно определить, кто это такой (задача классификации). Каждый из волшебников обладает своими навыками и пытается угадать:
- Рон разглядывает ответ в хрустальном шаре
- Гарри читает заклинания
- Гермиона пытается вспомнить, в какой книге могла его видеть
- а Невилл просто говорит случайные названия, поэтому его никто не слушает =)
После того, как каждый определился с ответом, друзья голосуют и выбирают ответ по большинству. Друзья случайные ответы Невилла не учитывают, чтобы не сбиваться.

А теперь, что такое случайный лес?
Это набор моделей (наш Гарри, Рон, Гермиона и Невилл), каждая из которых пытается ответить на поставленный вопрос.
Каждая модель работает по своим алгоритмам. Точность каждой модели может быть невысокой (как и в нашей истории). Но совместные предсказания и выбор ответа голосованием повышают точность итогового ответа.

Но важно в случайный лес помещать только те модели, которые угадывают больше, чем в половине случаев. Иначе такие модели итоговый ответ могут портить.

Ответить
0

#рекуррентная_нейронная_сеть:
Рекуррентная нейронная сеть - модель, которая принимает входное значение и часть предыдущего выхода - скрытое значение, преобразует их, и возвращает выходное значение и новое скрытое значение, которое поступает на следующий вход. И входные/выходные, и скрытые значения - это просто наборы чисел, которые можно интерпретировать под решаемую с помощью РНН задачу, НАПРИМЕР:

Задача: Прогнозируем настроение Коти по настроению Человека.

Вход: настроение Человека - ДОВОЛЕН=1(тогда идёт в магазин Коте за Едой), либо НЕДОВОЛЕН=0(тогда не идет);
Скрытое значение: наличие Еды - ЕСТЬ=1(тогда Котя её съедает и он доволен), либо НЕТ=0(тогда не съедает и недоволен);
Выход: настроение Коти - ДОВОЛЕН=1(когда съел всю еду), либо НЕДОВОЛЕН=0(когда есть нечего);

День 1: Еда ЕСТЬ, Человек ДОВОЛЕН, тогда Котя ДОВОЛЕН(он съел всю еду), Еда ЕСТЬ(потому что Человек доволен, он сходил ещё купил).

День 2: Еда ЕСТЬ, Человек НЕДОВОЛЕН(заколебался на работе), тогда Котя ДОВОЛЕН, Еды НЕТ(Котя ту еду съел, а за новой едой Человек в магазин не пошел).

День 3: Еды НЕТ, Человек ДОВОЛЕН(хороший был день), тогда Котя НЕДОВОЛЕН(еды не было и Котя голодный и недовольный пошел спать), Еда ЕСТЬ(когда Котя уже спал, Человек сходил в магаз, потому что сегодня он доволен).

День 4: Еда ЕСТЬ, Человек НЕДОВОЛЕН,
ВОПРОС: в каком тогда состоянии будет Котя и Еда?
ОТВЕТ: Котя будет ДОВОЛЕН, но на завтра Еды НЕ БУДЕТ.

Математически:
РНН(Еда_сегодня, Человек_сегодня) = Котя_сегодня, Еда_завтра;
преобразования(линейные):
ЕДА_завтра = Человек_сегодня,
Котя_сегодня = Еда_сегодня;

Таким образом, формально, РНН принимает на вход два набора чисел - входы и скрытые значения, преобразует их, и возвращает два набора чисел - выходы и новые скрытые значения, интерпретации этим числам задаем уже мы. То, каким конкретно образом входное и скрытое значения преобразуются в выходное и следующее скрытое, определяет вид РНН: Simple RNN, LSTM, GRU, итд(хорошо бы, конечно, чтобы преобразования были нелинейными, РНН всё таки нейронная сеть, но в общем случае и линейные преобразования не запрещены, хоть и толку мало, линейная комбинация линейных функций это опять линейная функция(гулять, так гулять, бабуля всё равно уже спит)).

Ответить
0

Сверточная нейронная сеть
Сверточную сеть можно представить как команду в викторине, которой нужно угадать, что изображено на картине: кошка, собака или, например, Мона Лиза.
Допустим на изображении кот.

Игра напоминает глухой телефон, только интереснее:
1. Участники выстраиваются по-очереди. Каждый из них называется слоем свертки.
2. Первый слой свертки видит исходную картину. И его задача: перерисовать изображение на разные карточки. Но рисовать самого кота нельзя: можно на карточках изображать только контуры, дуги и ребра.
3. Второй участник (новый слой нейронной сети) уже не видит саму картину, но ему передают всё, что нарисовал первый. Его задача уже заключается в том, что по этим картинкам нужно нарисовать на новых карточках, комбинируя разные признаки, уже более сложные текстуры: окружности, квадраты и т.д.
3. Третьему слою передают теперь уже карточки с предыдущего этапа, и из всех этих фигур и квадратов ему нужно будет нарисовать на новых карточках более сложные вещи: на этом этапе где-то можно будет опознать что-то похожее на ухо кота или его хвост =)
4. И уже через несколько этапов, появляется большая коробка с карточками (они называются картами признаков). На них уже могут быть изображены лапы, усы или крылья (если это птица). Все эти карточки передают последнему участнику - эксперту, который внимательно изучает рисунки, сравнивает их со своей картотекой (шаблоны лап кота, крыльев, листьев и т.д.) а затем выносит вердикт: "Это же кот!".

Также устроена сверточная нейронная сеть (хотя и слоев в ней и различных комбинаций может быть гораздо больше). Человек, при классификации объектов, мыслит шаблонами, только делает это не задумываясь, потому что так научился. Также происходит и работа сверточной нейронной сети, когда она получает набор карт признаков и сравнивает их с шаблонами (что должно быть у кошки и может ли быть у этой кошки клюв).
А для того, чтобы собрать нейронной сети эти шаблоны, с которыми будут сравниваться все изображения, ей нужно показать множество разных изображений: как кошек, так и не кошек и объяснить, что есть что. А нейронная сеть - очень умная, после сотен примеров она уже сама догадается =)

Ответить
0

Обманули как обычно, нахаляву комментариев подняли!

Ответить
0

И это победители?? Вы серьёзно? А, ну да, это же Яндекс. Им нравится, когда не умеют объяснять, как и они сами. Чему удивляться.

Ответить
–1

Градиентный бустинг вообще похож на воспитание, на династию.
Человек рождается, живёт жизнь, совершает ошибки и получает опыт. Потом заводит сына или дочь и делает так, чтобы ребёнок не повторил его ошибок. Зато ребёнок делает свои новые ошибки, тоже получает опыт. Передаёт его своему ребёнку.
Если удаётся передавать опыт и делать все меньшие ошибки, то династия, как правило, преуспевает. 

Ответить
–1

Не пойму .🤔как тут зарабатывают.

Ответить
–1

Сверточная нейронная сеть названа так из-за имеющихся у нее "слоев свертки"; т.е. неких блоков, как бы сворачивающих обширные данные в меньшие по размеру и более абстрактные. Однако при повышении уровня абстракции проявляются некие характерные черты, позволяющие лучше распознать или классифицировать объект.
Примером свертки может послужить считалочка "ТОЧКА, ТОЧКА, ЗАПЯТАЯ, МЕСЯЦ, РОЖИЦА КРИВАЯ, ПАЛКА, ПАЛКА,ОГУРЕЧИК - ВОТ И ВЫШЕЛ ЧЕЛОВЕЧЕК" ))

Ответить
–2

Свёрточная нейронная сеть в обучении похожа на то, как мы учим ребенка различать волка. Волки, которых мы показываем ребенку, разные: рисованные из русских сказок, мультяшный из Ну Погоди, живые волки из зоопарка или фотография волка в живой природе. И через некоторое время ребёнок может распознать волков, нарисованных разными художниками, даже если волк ходит на двух ногах и одет в штаны и жилетку. Во время обучения важно, чтобы у нас среди волков были и "не волки", и  мы указывали ребёнку на ошибки в опознании серого зверя. Таким же методом "проб и ошибок" обучается наша сверточная нейронная сеть, пока не научится с некой точностью определять "волка", даже если он будет в овечьей шеуре.
Экспертам лучше этот текст не читать 😏

Ответить

Комментарии

null