Bloomberg рассказал, что сотрудники Amazon слушают записи с Alexa — так делают все разработчики голосовых помощников Статьи редакции

Это обычная практика среди разработчиков голосовых ассистентов, так как «человеческий» анализ аудиозаписей — один из основных способов обучить машину правильно понимать людей.

11 апреля издание Bloomberg опубликовало расследование о команде людей в Amazon, которые слушают записи разговоров пользователей с голосовым помощником Alexa и помогают устройству правильно распознавать и обрабатывать их запросы. Об этом рассказало семь анонимных сотрудников Amazon.

На самом деле сотрудники Amazon, Google, Apple и «Яндекса» могут анализировать лишь мизерную часть записей, а доказательств того, что все разговоры непрерывно отправляются на сервера компаний в полном виде не существует.

Коротко о расследовании Bloomberg

  • Несколько тысяч сотрудников Amazon по всему миру прослушивают записи пользователей голосового помощника — транскрибируют аудио, разделяют на смысловые блоки, расставляют аннотации и возвращают в устройство. Таким образом команда Alexa улучшает качество распознавания речевых команд.
  • Команды сотрудников находятся в Бостоне, Румынии и Коста-Рике, за 9-часовой рабочий день они прослушивают около тысячи аудиозаписей. Они подписывают NDA (соглашение о неразглашении) и выступают как независимые подрядчики, а не сотрудники компании. Опознавательных знаков Amazon в арендованных офисах также нет.
  • Большая часть работы рутинная. Например, один из сотрудников отслеживал упоминания Тейлор Свифт и расставлял пояснения в записях о том, что пользователь имел ввиду певицу. Также сотрудники Amazon проверяют качество автоматической транскрибации запроса Alexa и оценивают качество взаимодействия между машиной и человеком: что спросил пользователь и насколько эффективный ответ он получил от Alexa.
  • Иногда сотрудникам попадается личная информация людей: номера банковских карт, счетов, телефонов или адреса. Такие записи маркируются как «критические». Также сотрудникам попадаются случайно сделанные записи, без команды вызова Alexa — их тоже нужно промаркировать.
  • Если на записи были слышны звуки, похожие на преступные действия или сексуальное домогательство, Amazon старается не вмешиваться в это, но иногда сотрудничает с властями.
  • У сотрудников есть специальные чаты, в которых они консультируются по поводу непонятных записей и обмениваются смешными аудио, например, в которых плохо поют в душе.
  • Сотрудники Amazon не получают персональных данных клиентов, но видят серийные номера устройств, имена и номера учетных записей. В Google и Apple в схожих отделах данные полностью обезличены, а звук может быть частично искажен.

По мнению Bloomberg, корпорации часто упускают роль человека в процессе машинного обучения: например, в маркетинговых материалах Amazon говорит, что Alexa «живёт в облаке и постоянно становится умнее», а пользователи расценивают это как полностью автоматический «искусственный интеллект», который обучается без участия человека.

Amazon Echo  Bloomberg

Пользователи не знают о том, что их могут прослушивать, но опасаются этого, спрашивая: «Alexa, кто-то ещё нас слушает? Ты работаешь на АНБ?», пишет Bloomberg.

Почему «умные» устройства сохраняют записи разговоров пользователей

«Умные» устройства технически всегда «слышат», но не «слушают» разговоры пользователей. Они постоянно записывают короткие фрагменты аудио, чтобы услышать активирующее слово — «Alexa», «Привет, Siri», «Слушай, Алиса», «Ок, Google». Если активирующее слово найдено — запись сохраняется и отправляется в службу распознавания голоса, начинается диалог с голосовым ассистентом.

Если активирующее слово не обнаружено в кусочке аудио, оно не сохраняется и, по информации BBC, пока не было обнаружено доказательств того, что все разговоры непрерывно отправляются на сервера компаний в полном виде.

Ошибки случаются. Например, два самых популярных активирующих слова Alexa — «Echo» и «Alexa», могут неверно распознаваться на некоторых языках. На французском языке сочетание слов «avec ça» («с ним» или «с ней»), а на испанском Hecho («факт») могут спровоцировать активацию голосового помощника и отправку записи на сервера Amazon.

Зачем компании анализируют запросы вручную

Разработчики всех голосовых ассистентов вручную транскрибируют небольшие объемы анонимизированных звуковых данных, чтобы улучшить качество распознавания речи. Такой способ является одним из основным для сокращения числа ошибок голосовых помощников и применяется, чтобы учесть диалекты, акценты и неразборчивую речь собеседника, а также региональные и искаженные выражения.

Пример проверки ответа «Алисы» в сервисе «Яндекс.Толока»

Разработчики получают базу для дальнейшего самостоятельного обучения голосовых ассистентов на основе полученных знаний. Это называется «активным обучением», пишет Wired. Система определяет области знаний, в которых нуждается в человеке-эксперте, получает у него корректный ответ на запрос и учится у него.

Реакция Amazon и политики конфиденциальности компаний-разработчиков голосовых помощников

Amazon

В правилах и условиях использования Alexa указано, что запись голоса используется для «ответов на вопросы, выполнения запросов и улучшения вашего взаимодействия и наших сервисов». Прямым образом анализ аудиозаписей людьми не указывается.

В заявлении Amazon для Bloomberg говорится, что только очень небольшое число записей прослушивается сотрудниками, а компания очень серьезно следит за конфиденциальностью и безопасности данных. Сотрудники не могут воспользоваться полученными записями и каким-то образом идентифицировать пользователей.

Эта информация помогает нам обучить наши системы распознавания речи и понимания естественного языка, чтобы Alexa лучше понимала запросы и обеспечивала качественный сервис для всех. У Amazon строгие технические и эксплуатационные меры безопасности, а также политика нулевой терпимости в отношении злоупотребления нашей системой.

Google

Корпорация также призналась, что сотрудники могут анализировать аудиозаписей из взаимодействия с «Google Ассистентом», который встроен в Android-смартфоны и «умные» колонки Home. Google заявляет, что перед анализом искажает звук для маскировки голоса пользователя и удаляет всю персональную информацию.

Также в устройствах Google Home есть физическая кнопка отключения микрофона.

Apple

Компания использует людей-помощников, которые оценивают качество обработки голосовых запросов голосовым ассистентом Siri. Согласно политике конфиденциальности Apple, записи голоса не содержат личной информации и связаны со случайным идентификационным номером, который сбрасывается при каждом отключении Siri.

Голосовые записи хранятся шесть месяцев со случайным идентификатором, затем из них удаляют идентификатор, но продолжают хранить для «улучшения распознавания голоса».

«Яндекс»

В условиях использования голосового помощника «Алиса» также есть пункт об обработке голосовых записей в обезличенном виде:

Обезличенные голосовые записи включают в себя реплики пользователей, обращённые к голосовому помощнику после его активации. Данные записи передаются на сервер «Яндекса» в целях распознания запрашиваемой команды и последующего осуществления требуемой функции голосового помощника.

Записи передаются на сервер в обезличенном виде без привязки к конкретному пользователю и его иным данным и могут быть использованы также в целях развития и совершенствования сервиса и его отдельных функций. Все данные, передаваемые в связи с использованием сервиса, сохраняются и обрабатываются в соответствии с политикой конфиденциальности.

из условий использования «Алисы»

По словам представителя «Яндекса» Матвея Киреева, сотрудники компании не получают больше одного сообщения от пользователя, а общее число обрабатываемых запросов «крайне мало» по сравнению с общим числом обращений к «Алисе».

Современное машинное обучение устроено таким образом, что на некоторых этапах требует помощи человека – благодаря этому, в частности, мы сегодня можем общаться с голосовыми помощниками, а они нас понимают и умеют хорошо отвечать.

Например, если «Алиса» неправильно что-то распознает и дает некорректный ответ, наши сотрудники могут посмотреть на отдельно взятый запрос, чтобы помочь обучить «Алису» в будущем не повторять ошибок. Такие сотрудники получают не больше одного сообщения от пользователя, и у них нет возможности понять, какой именно человек сказал ту или иную фразу. Общее количество запросов, которые рассматриваются подобным образом, крайне мало по сравнению с миллионами обращений к «Алисе» в день.

Мы серьезно относимся к безопасности данных наших пользователей. Вся информация, которую мы получаем от людей, общающихся с «Алисой», шифруется и хранится в обезличенном виде. Мы не имеем никакой возможности слышать, что человек говорит «Алисе» до того, как он активирует ее голосом или кнопкой.

Матвей Киреев, представитель«Яндекса»

Одним из инструментов обработки голосовых записей «Яндекса» — краудсорсинговый сервис «Яндекс.Толока». Среди заданий можно встретить проверку аудиозаписей на корректность, транскрибацию слов и оценку качества ответа «Алисы».

Доклад представителей «Яндекс.Толоки», посвященный «Алисе»

Как избежать записи разговоров с голосовыми ассистентами

Amazon

Настройки конфиденциальности Alexa не позволяют полностью отказаться от записи и анализа голосовых сообщений, но можно остановить их использование для «разработки новых функций». Также можно прослушивать и удалять предыдущие голосовые записи.

Google

Компания позволяет прослушивать и удалять голосовые записи на странице «Моя активность». Также можно отключить запись разговоров с «Ассистентом» в «Истории голосового управления».

Apple

Корпорация не предоставляет возможности слушать записи разговоров с Siri, так как они обезличены и не привязаны идентификатором или Apple ID к пользователю. Чтобы удалить голосовые записи, созданные Siri на устройстве, нужно в настройках перейти в меню Siri и отключить её, а затем отключить голосовой ввод в настройках клавиатуры.

«Яндекс»

В настройках приложения «Яндекс» можно отключить голосовую активацию помощника по команде. Также у «Яндекс.Станции» есть механическая кнопка отключения микрофона, чтобы избежать прослушивания в режиме ожидания.

0
62 комментария
Написать комментарий...
Арсений Сотников

Теперь яд и товарищ майор в курсе всего, что происходит у тебя в квартире. Каким же ебланом надо быть, чтобы самолично притащить троянского коня к себе в жилище?

Ответить
Развернуть ветку
Гала Перидоловна

Вы переоцениваете свою значимость для спецслужб. Я бы на вашем месте наоборот купил парочку, так может быть хотя бы в Толоке кто-то вас услышит.

Ответить
Развернуть ветку
18 комментариев
Камаз Узбеков

Телефоны все покупают и ничего. Даже с собой всё время носят, чтобы товарищ майор всегда знал, где ты находишься.

Ответить
Развернуть ветку
4 комментария
lakoros

а почему вы упомянули только Яндекс? А где Амазон и Гугл?

Ответить
Развернуть ветку
12 комментариев
Вы в федеральном розыске

Да никто и не сомневался в этом

Ответить
Развернуть ветку
lakoros

Хм. нужен пункт в соглашении "Всё что вы скажете будет записано, прослушано и выложено в ютуб поржать."

Ответить
Развернуть ветку
Вы в федеральном розыске

Почитайте любое соглашение. Удивитесь. Именно это там и написано

Ответить
Развернуть ветку
Борис Ларионов

Напомнило

Ответить
Развернуть ветку
Борис Ларионов

Поэпичнее

Ответить
Развернуть ветку
Андрей Чигаров

Каким же идиотом надо быть, чтобы об этом не подозревать. И заодно ещё сообщить все данные своей банковской карты.

Ответить
Развернуть ветку
Your Cool Domain

А вы в курсе, что во всеми любимом каршеринге постоянная прослушка и видеозапись? Если нет - читайте договор аренды, пример из Яндекс Драйв.
Едите вы в авто, материтесь, пропукиваете сиденье, обсуждаете с женой новую микроволновку, а сотрудники Яндекса угорают)) или вам потом еще рекламу микроволновок будут тыкать везде.
Четко завуалировали прослушку)) «включая, но не ограничиваясь, путем осуществления фото- и видео-...» Чтобы клиентов формулировкой «аудио-» не напугать)

Ответить
Развернуть ветку
Юрий Б.

По-моему, это на будущее в договоре оговорка, чтобы можно было поставить камеру, смотрящую в салон и следить, кто же конкретно на сиденья наблевал. Удивлён, что этого до сих пор не произошло.

Ответить
Развернуть ветку
Владислав Егоров
фото- и видео- наблюдения в ТС

ну и где там слово "аудио"?

Ответить
Развернуть ветку
1 комментарий
Yuriy Vilks

Они еще и при начале аренды отдельно предупреждают, что в машине установлена камера, но звук она не пишет (по их словам). Но камеры у них видел только в бизнес классе (БМВ, мерседес)

Ответить
Развернуть ветку
3 комментария
Alexandre Lebedev

Не могу со всех этих комментаторов, в стиле: "да кому оно вообще надо?", "да каким идиотом нужны быть, чтобы такое купить?", "да от ассистентов нет толка" и бла бла бла

Все прям такие крутые эксперты, что казалось бы, своё личное мнение распыляют на массы. Если вам ассистент не нужен и вы не видите в нём смысла, так не покупайте, не пользуйтесь никто не заставляет.
Если вы так уверены, что каждого, кто купит колонку будут круглосуточно слушать и записывать, опять же не покупайте. И вам вообще какое дело и кто вы такие чтобы осуждать тех, кто эти колонки покупает?

Дома стоит Станция, и сири я пользуюсь и кортана на ноуте меня постоянно слушает. И вот вообще плевать. Звук у Станции устраивает, функции ассистента тоже (но конечно, хотелось бы большего). И подобные факты и новости меня уж никак не заставят отказаться от использования всех этих возможностей, тем более, что не особый и секрет.

Ответить
Развернуть ветку
Ware Wow

Окей

Ответить
Развернуть ветку
Alexander Matveev

На картинке Яндекс.Станция

Ответить
Развернуть ветку
Имя Фамилия

За свои колонки они должны доплачивать, а не продавать их. По сути все люди, которые их используют участвуют в эксперименте. На основе этих данных появятся новые продукты и услуги.

Ответить
Развернуть ветку
Александр Алёхин

Нас готовят)))) формируют мнение - окно Овертона)))

Ответить
Развернуть ветку
Евгений Ткачук

Зачем осознанно покупать и ставить дома неведомую хню, которая постоянно находится в режиме прослушивания? От ассистентов реального толка ноль. Неужели вместо разговоров с кастрюлей не проще и не качественнее будет подключить к любой аудиосистеме телефон, плеер, планшет или компьютер?

Ответить
Развернуть ветку
Ware Wow

А мы думали не слушают )))))

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Евгений Делюкин
Автор

Статья про все голосовые помощники, а "Станция" нашим читателям явно ближе, чем колонка на Alexa. Поэтому выбрал её в качестве обложки. Никакого тайного умысла.

Ответить
Развернуть ветку
1 комментарий
59 комментариев
Раскрывать всегда