Градиентный спуск с помощью простого набора данных

В этой статье я собираюсь продемонстрировать градиентный спуск в машинном обучении с помощью простого набора данных. Слово “Градиент” имеет несколько значений в зависимости от контекста, в котором оно используется. Однако в общем смысле это означает нечто, что постепенно меняется. На языке математики и машинного обучения градиент называется “наклоном”, который указывает, насколько крутой или неглубокой является линия (или функция) в определённой точке на n-мерной плоскости. "Крутой склон" указывает на высокую скорость изменения одного фактора по сравнению с другим фактором, в то время как обратное верно для "пологого склона".

На уроках математики в школах учат, что уравнение прямой имеет вид y = mx + c (обозначения могут отличаться в зависимости от книг), где y - точка на оси y, x - точка на оси x, m - наклон, а c - пересечение на оси y. Если пересечение по оси y равно 0, значение c можно игнорировать. В машинном обучении это уравнение является базовой задачей линейной регрессии. Если в двумерной плоскости есть только одна линия, наклон и пересечение можно найти с помощью формул, подставив их вместо m и c и решив уравнение. Следовательно, у него есть единственное решение.

На самом деле каждая задача машинного обучения включает в себя сотни или тысячи уравнений, которые чаще всего не согласуются ни с одним решением. Каждое уравнение - это “Наблюдение”, а каждая ось - “Особенность”. Когда система уравнений содержит больше наблюдений, чем признаков, она называется переопределённой системой. Следовательно, большинство проблем машинного обучения связаны с чрезмерно детерминированной системой. Градиентный спуск используется для нахождения решения (коэффициента) для каждого признака, с которым могут согласиться все наблюдения, что сведёт к минимуму разницу между наблюдаемыми и прогнозируемыми результатами. Разница рассчитывается с использованием множества "Функций затрат”. Одним из них является среднеквадратичная ошибка (MSE), которая используется в задаче ML этой статьи.

Для этой задачи градиентного спуска подготовлен простой синтетический набор данных. Все блоки кода написаны на языке программирования Python. Программа начинается с импорта необходимых пакетов Python:

Генерируется синтетический набор данных, который следует уравнению y = 2.3x. Цель предварительной фиксации коэффициента и соответствующей генерации набора данных состоит в том, чтобы увидеть, как выполняется градиентный спуск, и в результате определить коэффициент. Излишне говорить, что реальная задача машинного обучения заранее не будет иметь коэффициентов.

Определение уравнения в Python и генерация набора данных:

Как упоминалось ранее, MSE - это функция затрат, которая математически представлена в виде,

Заменяющий y_bar,

Функция Python создана для облегчения расчёта стоимости путём предоставления необходимых входных параметров:

Как упоминалось ранее, градиентный спуск - это методология, позволяющая минимизировать крутизну склона. Функцией здесь является Cost Function, и градиентный спуск используется для минимизации её ошибки. В более общих чертах, градиентный спуск используется для нахождения значения m, которое приводит к наименьшему MSE.

Но как мы узнаем, является ли наклон "крутым" или "пологим" в определённой точке кривой функции затрат? Вот тут-то и появляются деривативы. Производные предоставляют возможность понять скорость изменения значения по сравнению с другим значением в определённый момент. В случае функции Cost производные предоставляют возможность определить величину MSE для экземпляра m. Следовательно, производные используются для настройки значения m до такой степени, чтобы это приводило к наименьшей ошибке. Применяя производные правила к нашей функции затрат (MSE), производное уравнение становится,

Вот как это будет выглядеть в виде функции на Python:

Установлена важная переменная, называемая Step (она же Скорость обучения), которая определяет, насколько сильно изменяется значение m на каждой итерации спуска. Значение этой переменной может отличаться в зависимости от задачи машинного обучения. Оно обычно задаётся в долях, таких как 0,01, 0,0001 и т.д.

Если значение Step задано слишком высоким, значение функции Cost может колебаться между несколькими пиками и никогда не сходиться. Это также может ввести людей в заблуждение, заставив их думать, что существует какая-то проблема с их программой или производной формулой, вместо того, чтобы осознать, что значение Step не подходит, и это препятствует конвергенции. И наоборот, если значение Step установлено слишком низким, функции Cost может потребоваться много времени, чтобы достичь минимума.

Другой переменной, которая используется при градиентном спуске, является tolerance. Поскольку градиентный спуск пытается уменьшить MSE с помощью нескольких итераций, должен быть способ определить, когда MSE является приемлемым, и остановить итерации. Один из способов - использовать tolerance. Может быть несколько способов определения tolerance для задачи градиентного спуска. В этой статье определяется разница в MSE между последовательными итерациями, и если она меньше определённого значения, итерации останавливаются.

Наконец, начальное значение коэффициента m устанавливается таким образом, чтобы его можно было корректировать на каждой итерации для уменьшения MSE. Помещаем всё это в код Python, как показано ниже:

Теперь, когда начальные переменные заданы, можно запускать процесс градиентного спуска. Напомним, что процесс включает в себя изменение значения коэффициента до тех пор, пока Cost не окажется в пределах допустимого предела. Приведённые ниже шаги объясняют теоретический процесс нахождения соответствующего коэффициента, который уменьшает MSE:

1. Рассчитайте Cost, используя начальное значение коэффициента.

2. Вычислите значение производной для начального значения m, используя уравнение первой производной функции Cost. Умножьте это значение на значение Step, чтобы определить следующее значение коэффициента m.

3. Рассчитайте Cost ещё раз с новым значением коэффициента m. Найдите разницу между MSE, полученным на шаге 1, и шаге 3.

4. Повторяйте шаги 1-3 до тех пор, пока разница между последовательными затратами не окажется в пределах допустимого значения.

Применение этих шагов в виде кода на python:

Приведённый выше код настроен на выполнение максимум 200 итераций, чтобы найти оптимальный коэффициент m, который уменьшает MSE. Количество итераций может быть изменено в зависимости от проблемы, но чем больше итераций, тем дольше выполняется код. Выполнение кода приводит к коэффициенту m, равному 2,29931, что близко к 2,3, который был установлен в наборе данных при его подготовке. Приведённый ниже график, также являющийся результатом выполнения приведённого выше кода, показывает, как MSE уменьшается с каждым значением коэффициента.

Ниже представлен полный код программы:

В этой статье показано, как можно выполнить градиентный спуск с использованием простого набора данных. Коэффициент уже был установлен таким образом, чтобы его можно было сравнить с коэффициентом, сгенерированным в процессе, и понять идею. Это не относится к задачам машинного обучения. Используемый здесь набор данных прост и невелик. В реальных сценариях наборы данных могут быть огромными, и этот процесс может занять очень много времени. В таких случаях могут быть использованы другие разновидности градиентного спуска, такие как стохастический градиентный спуск и пакетный градиентный спуск. Набор данных обычно разделяется на обучающий и тестовый наборы, и этапы предварительной обработки применяются к этим наборам данных отдельно для повышения производительности модели.

Я надеюсь, что эта статья была полезна в качестве базового введения для начинающих программистов.

Статья была взята из этого источника: