{"id":6456,"title":"\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u043b\u044f \u0441\u043e\u0445\u0440\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u0445 \u0448\u0438\u0444\u0440\u043e\u0432\u0430\u0442\u044c","url":"\/redirect?component=advertising&id=6456&url=https:\/\/vc.ru\/promo\/281058-pochemu-vazhno-zashchishchat-dannye-vo-vremya-obrabotki&placeBit=1&hash=dc7f2bae2bc390fd70ec9b439b852fb5901b27f8537bbae69b6bbdceddf340ad","isPaidAndBannersEnabled":false}
Machine learning
Sociaro

Энтропия: золотая мера машинного обучения

Сегодня мы продолжим нашу образовательную рубрику #чтопочитать и статья будет посвящена машинному обучению - от деревьев принятия решений к нейронным сетям.

Краткое обобщение статьи: Энтропия — это мера хаоса системы. Так как она намного более динамична, чем другие менее изменчивые величины, например "доля правильных ответов" или даже среднеквадратическая ошибка, её использование для оптимизации алгоритмов машинного обучения часто приводит к повышению их скорости работы и производительности.

В машинном обучении её можно встретить повсюду: от построений деревьев решений до тренировок глубоких нейронных сетей. Энтропия - неотъемлемая часть в сфере машинного обучения.

Термин "энтропия" пришел из физики, в которой он определяется как мера беспорядка или непредсказуемости в системе. Для примера давайте представим закрытую коробку с двумя газами внутри: сначала энтропия системы низкая, так как газы отделены друг от друга, но постепенно газы смешиваются, и энтропия системы увеличивается. В замкнутой системе энтропия никогда не уменьшается - хаос не утихает без влияния посторонних сил.

Теперь давайте представим, что мы подбросили монетку и получили следующие результаты: [орел, решка, решка, орел]. Если мы (или алгоритм машинного обучения) попытаемся спрогнозировать результат следующего броска, у нас не получиться это сделать с даже минимальной долей уверенности - энтропия системы слишком велика. С другой стороны, несимметричная монета, результаты которой [орел, орел, орел, орел], имеет низкую энтропию, и, учитывая имеющуюся информацию, мы можем с почти полной уверенностью сказать, что следующий результат броска - орёл.

Чаще всего в науке о данных мы встречаем средние значения энтропии - между невероятно высокими и идеально низкими. Высокой энтропии соответствует маленький прирост информации; низкой энтропии, наоборот, большой прирост информации. Прирост информации можно определить как уровень чистоты системы - количество чистой доступной в ней информации.

Энтропия используется для построения деревьев решений. В них узлы (условия) с менее низкой энтропией располагаются выше по дереву. Это позволяет дереву максимально эффективно пропускать входные данные через ряд условий к правильному конечному узлу ("листу").

Для демонстрации работы узлов с различной энтропией, давайте представим набор гипотетических признаков, класс каждого из которых обозначен цветом (синим или красным), и вертикальную черту, обозначающую расщепление (разделение) этих признаков.

Дерево решений высчитывает энтропию признаков и располагает их так, чтобы общая энтропия модели была минимальной. Для достижения этой цели условия с меньшей энтропией размещаются выше, что помогает расположенным ниже узлам достигать более низкой энтропии.

Информационный выигрыш или относительная энтропия в построении деревьев решений определяется как расстояние между двумя вероятностными распределениями P и Q. Также оно известно как расстояние Кульбака-Лейблера, которое используется в обучении генеративно-состязательных сетей для оценки производительности сгенерированных изображений по сравнению с изображениями из первоначального набора.

Одной из самых популярных функций потерь, используемых в нейронных сетях, является кросс-энтропия (перекрестная энтропия). Будь то категорическая, разреженная или бинарная кросс-энтропия, она является стандартным выбором для высокопродуктивных нейронных сетей. Ее также используют для оптимизации почти любого алгоритма классификации, например, логической регрессии. Так же как взаимная или условная энтропия, кросс-энтропия — это лишь один из видов стандартной энтропии, приспособленный для особого применения.

Кросс-энтропия, так же как и расстояние Кульбака-Лейблера, имеет дело со взаимоотношениями между распределениями P и Q, определяя P, как истинное, и Q, как приближенное. Однако, расстояние Кульбака-Лейблера измеряет относительную энтропию между двумя распределениями, в то время как кросс-энтропия измеряет "общую энтропию" между данными распределениями.

Кросс-энтропия измеряет среднее число бит, необходимое для кодировки данных, полученных из источника, использующего распределение P, если используемая схема кодирования базируется на заданном распределении вероятностей Q. В нашем случае мы стремимся уменьшить число бит, необходимое для обозначения события, используя Q вместо P. Относительная энтропия, с другой стороны, измеряет дополнительное число бит, необходимое для обозначения события из P в распределении Q.

Может показаться, что кросс-энтропия — это просто запутанный способ измерения производительности модели, но она имеет несколько преимуществ:

  • Метрики, основанные на accuracy или ошибках, очень чувствительны к порядку данных в тренировочном наборе. В них не учитывается статистическая достоверность, и отсутствует устойчивость к различным атрибутам данных, что может привести к ошибочным результатам. Всё это делает их грубыми мерами.
  • Кросс-энтропия измеряет информационный контент, и поэтому она более динамична и устойчива, чем те метрики, которые просто проверяют, отмечены ли все отслеживаемые пункты. Прогнозы и цели в ней представлены распределениями, а не списком вопросов.
  • Она близко связана с природой вероятностей и хорошо сочетается с сигмоидой и SoftMax (даже если они использованы в последнем нейроне), помогая уменьшить проблему исчезающего градиента. Логистическую регрессию можно считать вариантом бинарной кросс-энтропии.

Несмотря на то, что энтропия не всегда является наилучшей функцией потерь - особенно в случаях, когда целевая функция P выражена не точно - в целом она все равно приводит к повышению производительности, что объясняет её популярность.

Используя энтропию в машинном обучении, мы можем лучше работать с его основными компонентами - неопределенностью и вероятностью - с помощью кросс-энтропии, относительной энтропии и информационного выигрыша. Энтропия напрямую работает с неизвестным, что очень важно в машинном обучении. Модели, оптимизированные с использованием энтропии, способны разгуливать на полянах неопределенности с повышенным уровнем знаний и целей.

{ "author_name": "Sociaro", "author_type": "self", "tags": ["\u0447\u0442\u043e\u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c","\u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435","ml"], "comments": 3, "likes": 12, "favorites": 10, "is_advertisement": false, "subsite_label": "ml", "id": 151037, "is_wide": true, "is_ugc": true, "date": "Tue, 18 Aug 2020 14:16:29 +0300", "is_special": false }
0
3 комментария
Популярные
По порядку
4

+++ Шлю лучи поддержки автору))🙌🌈 Такие статьи должны быть более популярны на VC

Ответить
1

это точно!

Ответить
0

обычно конторы та ки лезут в гущу хаоса не изучая рынок и клиентов

очень полез но шабло нно
естьв едь новый термин МНОГОСЛОЙНАЯ неопределённость
там тоже только слоями
и решенеи задачки порой тупиковое
спасибки за обзор

Ответить
Читать все 3 комментария
Как погрузиться в производство и провалиться в продажах, часть 1

Приветствую, вам предстоит прочитать первую часть моей истории о том, как мы с партнером поверили в дело, но что-то пошло не так. Уверен, статья будет полезна для вас и вы сможете сделать какие-нибудь выводы для себя.

Я купил сим-карту МТС и на следующий день получил блокировку

18.09.2021 г. купил симкарту МТС в салоне сотовой связи МТС, 19.09.2021 г. утром я решил сделать звонок, вместо вызова мне сообщили, что данный вид связи недоступен для абонента.

Заказанный в постамат товар 18+ нужно возвращать в пункте самовывоза

Хочу поделиться неудачной историей заказа товара 18+ на «Озоне» и как «Озон» не хочет помогать решить проблему. Текст могут читать только совершеннолетние пользователи сайта.

«Вам звонок из Циан»: зачем компания скупает номера телефонов и как call-tracking помогает клиентам сервиса

Подменные номера телефонов защищают от нежелательных звонков и упрощают аналитику продаж

Оставленный в «Картах» негативный отзыв на «Яндекс.Лавку» виден только мне

После ситуации с недоставленным заказом из «Яндекс.Лавки» я оставил отзыв на сервисе «Карт». Его приняли и разместили, но доступен он только для аккаунта, с которого я его оставлял)))

Что может быть важнее прибыли. ESG-словарь для инвестора

В 2020–2021 гг. резко возросла популярность темы ответственного инвестирования, или ESG. Идея о том, что инвестиции должны не только приносить прибыль, но и поддерживать экологию и социальную справедливость, привела к тому, что ESG-фонды стали играть значимую роль на мировых рынках капитала.

Как работать удалённо по московскому времени, если живёшь в Сибири

Команда ИТ-компании Southbridge — о преодолении трудностей часовых поясов: графике работы, планировании и отдыхе.

«Сбербанк» через час после личного визита позвал 84-летнюю бабушку еще раз в прийти офис

Казалось бы удобно - оформил получение пенсии на карту и нет проблем. Но это не про историю со Сбербанком. Здесь через час после получения карты лично в отделении прилетело смс о блокировке онлайн сервисов банка.

Ещё одна рубрика: здоровье(!?)

Насколько будет интересна/полезна?

Дайджест новостей Сбера: AR-экскурсия, распознавание животных и премия для учёных

Прогулки по Политехническому музею с роботом Сепулькой, чудеса компьютерного зрения, научная премия — начало сентября в Сбере выдалось насыщенным. Делимся с вами самыми интересными новостями компании во втором выпуске нашего дайджеста.

Sports.ru рекламирует запрещенных мошеннических букмекеров. Потерял 59 000 рублей

Добрый день! Пишу на vc, так как больше нигде не могу добиться ответа ни от представителей казино, ни от представителей Sports,ru, которые рекламируют нелегальное на территории РФ казино и букмекера 1xbet.

null