Разработка голосового интерфейса StarCraft II для Alexa

Глава инженерного отдела UpsideLab Рафаль Цимерис — о том, как играть в стратегию с помощью голосового управления.

В магазине навыков Alexa есть множество игр. Но большинство из них либо простые викторины, либо текстовые приключенческие игры из 1970-х годов, перенесённые на голосовой интерфейс.

Мы думали, можно ли сделать что-то ещё.

Недавно мы были на хакатоне Talk to Me, Berlin, где придумали концепт (и работающий прототип), который показывал, как можно внедрить голосовые интерфейсы в видеоигру.

Голосовой интерфейс подходит приложениям c режимом управления без рук. Так можно одновременно делать несколько задач и выполнять простые действия, не переключая на них внимание полностью.

Когда вы ведёте машину или делаете себе бутерброд, удобнее сказать что-то виртуальному помощнику, чем взять телефон и сделать действие самому.

Управление армией есть во всех стратегиях.

Игрок почти всегда смотрит на игру глазами офицера высокого ранга, например, генерала. У вас есть полный контроль над всеми частями войск и зданиями. Только вы решаете, какую стратегию использовать.

Но как ощущать себя генералом, не отдавая приказы? А ещё приходится управлять всеми частями войск самостоятельно, нет возможности выбирать задания своим подчинённым.

Мы решили исправить это, превратив Alexa в «умного» внутриигрового помощника.

Чтобы развить идею дальше, мы выбрали StarCraft II. У нас было на это несколько причин:

• Игра футуристична, как и виртуальные помощники.
• Это стратегия со сражениями, поэтому она идеально подходит для того, чтобы отдавать приказы.
• Здесь требуется многозадачность, а это подходящее условие для внедрения взаимодействий в режиме управления без рук.
• В игре есть API, с помощью которого можно к ней подключиться.

Мы сосредоточились на конкретных игровых ситуациях и предложили следующие команды.

• Тренировка дополнительных войск и отправка их на поле сражения по готовности. Это полезно, если вы понимаете, что отправили в бой слишком маленькую армию. Можно сосредоточиться на битве, потому что вы знаете, что скоро прибудут дополнительные солдаты.
• Эвакуация рабочих на базу. Когда вы видите, что приближается враг, можно быстро скомандовать наиболее уязвимым частям вернуться в безопасное место. Эта же команда подойдёт, если надо завести флот в убежище, тем самым получить преимущество над вражескими войсками.

Alexa не сочеталась с игровой вселенной. Люди привыкли к тому, что она приветливая и весёлая, а это совсем не подходит военному офицеру.

Чтобы голосовой пользовательский интерфейс лучше соответствовал игре StarCraft, мы разработали альтернативную версию виртуального помощника и назвали её Кейт Блэкуотер.

Кейт — ваш подчинённый, командир, которому можно доверить некоторые задачи. Она находится на базе и следит за тем, что там происходит.

Она немного неприветлива, отвечает кратко и точно: «Вас поняла. Подтверждаю».

Вот примеры команд, которые понимает помощник:

• Alexa, скажи командиру отправить больше солдат.
• Alexa, скажи командиру всех эвакуировать.
• Alexa, узнай у командира о боеготовности.

Также мы воспользовались другими сервисами преобразования текста в речь, потому что голос Alexa слишком мягкий для этой игры. Подготовили ответы, которые больше подходили Кейт, — они были сухими и чёткими.

По ссылке — создание навыков Alexa с помощью Python и AWS Lambda.

#дизайн