Pac-Man на основе Deep Q Network модели

Reinforcement Learning – одно из самых развивающихся и перспективных направлений машинного обучения. С помощью него можно попробовать разные действия исследуемого агента, сделать вывод об их успешности, накопить полученные знания и использовать их при будущем выборе. Такой подход используется, например, в переговорных ботах, где ведутся переговоры с клиентом, и есть цель – совершить самую выгодную сделку среди всех возможных, а также, например, такой алгоритм заложен в беспилотных автомобилях.

Reinforcement Learning также применяется в играх. Pac-Man - это игра, в которой главный герой должен съесть как можно большее количество бриллиантов в лабиринте, при этом не попасться на своем пути монстрам, которые гоняются за ним, или не врезаться в стенку.

В RL существует агент и окружение вокруг него, в которой он совершает действия, чтобы максимизировать свое вознаграждение. Агент делает шаг, ему достается вознаграждение, среда вокруг него меняется, он снова ее анализирует и предпринимает следующий шаг. Так происходит до тех пор, пока не завершится среда. Такой цикл принятия решений известен как Markov decision process (MDP). В случае с Pac-Man завершением среды является встреча с монстром, а вознаграждение – это бриллианты. Игра моделируется с помощью объектно-ориентированного программирования, прописывается класс с объектами и методами, которые может совершать агент. Соответственно, state, action, reward вызываются из прописанных условий класса. Код на Python, с помощью которого можно получить текущее состояние представлен ниже.

Агент — это алгоритм RL, а окружение – это, например, игра. Окружение отправляет свое начальное состояние агенту, а тот в ответ на это предпринимает действия. Далее окружение отправляет агенту новое состояние и награду, агент обновляет свои знания и снова предпринимает шаг.

Алгоритм DQN ищет наилучшую стратегию для совершения действия агента. Для этого рассчитывается значение Q по методу Q-learning, и, выбирая его наибольшее значение, алгоритм сообщает агенту в каком направлении необходимо предпринять шаг. Эти значения Q рассчитываются с помощью нейронной сети на основе формулы Беллмана. Таким образом, на вход нейросети подается текущее состояние среды (s), а на выходе выдается значение Q(s, a) – все возможные действия с учетом текущего state и action. Код на Python представлен ниже.

Архитектура DQN может быть описана в два шага: сначала идут несколько convolutional layers, а далее dense layers. В данной статье подробно описаны dense layers, так как в них указаны параметры, которые использовались для моделирования. Выходные значения нейронной сети являются наилучшим прогнозом агента о вознаграждении, которое он ожидает, если предпримет это действие. Такой подход называется value-based learning, в основе которого лежит функция Q(s, a). Она отражает общую ценность совершения действия a (action) в состоянии s (state), которая является общей суммой будущего вознаграждения r (reward), поправленную на фактор дисконтирования gamma. Уравнение представлено ниже. На каждом этапе агент предпринимает действия, которые приводят к максимальному вознаграждению.

Необходимо вычислить эти Q значения, однако агент не может видеть будущее и не может присвоить уникальное значение Q каждому из состояний. Для этого, как было сказано ранее, на помощь приходят нейронные сети, которые будут предсказывать наши Q значения. В RL на начальном этапе нет размеченных данных и информация об окружении отсутствует. Таким образом, в RL создается свой собственный постоянно меняющийся набор данных, так как выбор действия сети напрямую влияет на то, каких состояний она достигнет, и сеть генерирует свои собственные целевые значения. Чтобы этого достичь, мы дублируем нейронную сеть или ‘target network’, чтобы сгенерировать целевые значения, и используем оригинальную нейронную сеть или ‘online network’, чтобы сгенерировать оценки. Тренируется только online network, но нужно достаточно часто копировать её веса в ‘target network’, чтобы освежить её более оптимизированными параметрами. Также мы используем ‘experience buffer’ – датасет прошлого опыта агента, который характеризуется набором (s, a, r, t, s’), где s (state), a (action), r (reward) – представляет их прошлые значения, t – это булевое значение, которое говорит, завершилась ли игра, s’ – это состояние после s (state), когда агент предпринял действие. Таким образом, агент просто перемещается по экрану на основе своего прошлого опыта и добавляет все свои знания в ‘experience buffer’. Затем можно извлечь опыт из хранилища и предпринять более эффективные действия в будущем.

Однако, если алгоритм будет всегда нажимать на кнопку, которая, по его мнению, приведет его к лучшей награде, тогда он будет выполнять одно и то же действие и никогда не пробовать ничего другого. Следовательно, он не будет учиться и совершенствоваться. Например, при первой попытке он может узнать, что движение направо даст ему 2 очка, и таким образом, он будет продолжать двигаться направо, несмотря на то, сколько на его пути стоит монстров или стен. Он не сможет оценить награду, которую он мог бы получить, пойдя налево.

Модель DQN решает эту проблему эффективным образом: инициализируется переменная epsilon от 0 до 1. Также для каждого шага генерируется случайное число от 0 до 1. Если это число меньше epsilon, то агент совершает действие совершенно случайным образом вне зависимости от значения Q. В процессе тренировки ставится epsilon до 0.1, чтобы в 90% времени обучения алгоритм действовал согласно значению Q, и в 10% времени совершал случайные движения. Epsilon нельзя ставить на уровне 0, чтобы Pac-Man не застрял в углу на неопределенный срок. Описанный метод называется ‘epsilon greedy’. Код на Python для данного метода представлен ниже:

Таким образом, DQN с представленными параметрами дала в результате медиану больше 150 очков, что является хорошим результатом. Для достижения более высокого результата можно использовать более усовершенствованную версию DDQN (Double Deep Q Network).

Успехов!