Разработка голосового интерфейса StarCraft II для Alexa
Глава инженерного отдела UpsideLab Рафаль Цимерис — о том, как играть в стратегию с помощью голосового управления.
В магазине навыков Alexa есть множество игр. Но большинство из них либо простые викторины, либо текстовые приключенческие игры из 1970-х годов, перенесённые на голосовой интерфейс.
Мы думали, можно ли сделать что-то ещё.
Недавно мы были на хакатоне Talk to Me, Berlin, где придумали концепт (и работающий прототип), который показывал, как можно внедрить голосовые интерфейсы в видеоигру.
Когда голос работает лучше всего
Голосовой интерфейс подходит приложениям c режимом управления без рук. Так можно одновременно делать несколько задач и выполнять простые действия, не переключая на них внимание полностью.
Когда вы ведёте машину или делаете себе бутерброд, удобнее сказать что-то виртуальному помощнику, чем взять телефон и сделать действие самому.
С точки зрения военнокомандующего
Управление армией есть во всех стратегиях.
Игрок почти всегда смотрит на игру глазами офицера высокого ранга, например, генерала. У вас есть полный контроль над всеми частями войск и зданиями. Только вы решаете, какую стратегию использовать.
Но как ощущать себя генералом, не отдавая приказы? А ещё приходится управлять всеми частями войск самостоятельно, нет возможности выбирать задания своим подчинённым.
Мы решили исправить это, превратив Alexa в «умного» внутриигрового помощника.
Чтобы развить идею дальше, мы выбрали StarCraft II. У нас было на это несколько причин:
- Игра футуристична, как и виртуальные помощники.
- Это стратегия со сражениями, поэтому она идеально подходит для того, чтобы отдавать приказы.
- Здесь требуется многозадачность, а это подходящее условие для внедрения взаимодействий в режиме управления без рук.
- В игре есть API, с помощью которого можно к ней подключиться.
Выбор команд
Мы сосредоточились на конкретных игровых ситуациях и предложили следующие команды.
- Тренировка дополнительных войск и отправка их на поле сражения по готовности. Это полезно, если вы понимаете, что отправили в бой слишком маленькую армию. Можно сосредоточиться на битве, потому что вы знаете, что скоро прибудут дополнительные солдаты.
- Эвакуация рабочих на базу. Когда вы видите, что приближается враг, можно быстро скомандовать наиболее уязвимым частям вернуться в безопасное место. Эта же команда подойдёт, если надо завести флот в убежище, тем самым получить преимущество над вражескими войсками.
Знакомьтесь, Кейт Блэкуотер
Alexa не сочеталась с игровой вселенной. Люди привыкли к тому, что она приветливая и весёлая, а это совсем не подходит военному офицеру.
Чтобы голосовой пользовательский интерфейс лучше соответствовал игре StarCraft, мы разработали альтернативную версию виртуального помощника и назвали её Кейт Блэкуотер.
Кейт — ваш подчинённый, командир, которому можно доверить некоторые задачи. Она находится на базе и следит за тем, что там происходит.
Она немного неприветлива, отвечает кратко и точно: «Вас поняла. Подтверждаю».
Вот примеры команд, которые понимает помощник:
- Alexa, скажи командиру отправить больше солдат.
- Alexa, скажи командиру всех эвакуировать.
- Alexa, узнай у командира о боеготовности.
Также мы воспользовались другими сервисами преобразования текста в речь, потому что голос Alexa слишком мягкий для этой игры. Подготовили ответы, которые больше подходили Кейт, — они были сухими и чёткими.
Живая демонстрация
По ссылке — создание навыков Alexa с помощью Python и AWS Lambda.
концепт крутой, но вот если бы всей игрой можно было рулить ТОЛЬКО голосом, было бы вообще огонь. полагаю, пришлось бы автоматизировать ряд задач
(или вести список команд, которые ИИ будет выполнять по порядку) и нумерацию отрядов. хотя, это, конечно, в итоге будет напоминать боевое программирование.
уже вижу бои двух вещающих коммандоров: оба орут на комплюкеры, потому что сами что-то напутали или забыли правильную формулировку приказа
Чтобы победить, программист еще должен будет научиться говорить скороговорки по 300 слов в минуту
Если бы они показали реальный матч хотя бы с игроком из "золотой лиги", я бы еще мог поверить
А так - простое баловство.
Дота опустеет же.
Ну ваш телефон тоже начинался с ..транзистора