Как ИИ тихо используется, чтобы обчистить ваш карман

Продавцы научились устанавливать цены, основываясь на вашем возрасте, настроении и сексуальной ориентации.

Когда я несколько недель назад возвращался из Лондона, я попал в кроличью нору, из которой не могу выбраться до сих пор. Я знал, сколько заплатил за свое место и сколько миль потратил на повышение класса обслуживания. Но я не имел понятия, потратила ли женщина через проход всего несколько баллов, как я, или заплатила более 10 000 долларов, которые авиакомпания могла бы запросить за тот же рейс. Бронирование рейса давно стало игрой, в которой только авиакомпания знает правила, с бесчисленными кодами бронирования, программами лояльности и изменениями тарифов, которые используют ваши данные против вашего кошелька. Но после посадки я начал замечать ту же нечестную игру повсюду: в каждом заказе Uber, в каждом заказе на Amazon, в каждой поездке в супермаркет. Все эти компании теперь знают обо мне столько, что видят мигающий номер над моей головой: точную цену, которую я готов заплатить в данный момент. Прямо сейчас над вашей головой тоже мигает ваш собственный номер.

В эпоху алгоритмов ценовая изменчивость все чаще проникает в цифровую коммерцию, когда цены меняются в реальном времени.

Что гораздо более тревожно, так это рост персонализированного ценообразования, практики цифровых ритейлеров, использующих ваши собственные данные для назначения именно той цены, которую вы готовы заплатить, и которая может отличаться от той, которую заплатит человек рядом с вами. Персонализированное ценообразование не только закрепляет предвзятость и может способствовать инфляции, но и создает мир, в котором вы никогда не знаете, обманывают ли вас ваши приложения.

Теперь, когда я собираюсь что-то оплатить в своем телефоне или ноутбуке, я задаюсь вопросом, платил бы я меньше, если бы использовал чужую учетную запись.

Я до сих пор помню легкий шок, который испытал десять лет назад, когда узнал, что ценовая дискриминация часто является абсолютно законной в США. На юридическом факультете мой профессор по антимонопольному праву познакомил нас с малоизвестным Законом Робинсона-Пэтмана о предотвращении дискриминации времен Великой депрессии, быстро подчеркнув, что этот закон совершенно не оправдывает своего названия. Согласно давно существующему закону, компании могут столкнуться с разрушительными штрафами за ценовую дискриминацию, только если они дискриминируют другие компании. Если оптовик взимал с магазина завышенную плату, магазин мог бы обратиться в суд, но ничего не мешало (и не мешает) магазину делать то же самое со своими клиентами. То есть владельцы магазинов имеют больше ценовых защит, чем их клиенты. Если магазин обычно взимает с некоторых клиентов больше, чем с других, из-за их пола, расы или других законодательно защищенных характеристик, это, безусловно, незаконно. Но когда компании хотят вытянуть из каждого клиента столько, сколько он готов заплатить, они свободны заниматься откровенным грабежом.

Я говорю о слабом шоке, потому что в то время персонализированная ценовая дискриминация была гораздо менее распространенной и вредоносной, чем сегодня. Конечно, культура купонов позволяла компаниям продавать один и тот же продукт в одном и том же магазине в одно и то же время по разным ценам, но она давала клиентам выбор. Чувствительные к ценам покупатели тратили время на поиск купонов, а менее экономные платили полную цену. Купоны, карты лояльности, сезонные скидки — многие традиционные формы ценовой дискриминации позволяют покупателям выбирать, в какую ценовую категорию они хотят попасть.

Но алгоритмическая ценовая дискриминация отнимает этот выбор. И методы извлечения данных для распределения людей по ценовым группам более инвазивны, чем можно представить. Вспомните свою последнюю поездку на Uber. Когда вы заказывали машину, вы, вероятно, знали, что расстояние и время суток влияют на цену, так как мы постепенно привыкли к холодной, извлекающей эффективности повышенного тарифа. Но думали ли вы о том, чтобы подключить телефон к зарядке перед заказом поездки? Если бы вы это сделали, возможно, сэкономили бы несколько долларов, так как уровень заряда батареи якобы является одним из факторов, которые Uber использует для определения цены поездки, хотя Uber категорически это отрицает. Если обвинения против Uber верны, то логика очевидна: те, у кого меньше заряда батареи, более отчаянны, и те, чьи телефоны вот-вот разрядятся, не будут колебаться, чтобы заплатить любую цену, чтобы получить машину, прежде чем они окажутся в затруднительном положении.

Как недавно подробно описал The American Prospect, этот тип индивидуализированного ценообразования распространяется практически на все сектора экономики (потоковое вещание, фастфуд и даже приложения для знакомств), и удивительно, какие переменные могут привести к увеличению стоимости. В 2010-х годах ритейлеры полагались на несколько грубые данные для совершенствования цен. Клиенты могли заплатить больше за рейс, забронированный на Mac (в отличие от PC), или заплатить более высокую цену за подготовку к экзаменам в почтовых индексах с большим количеством азиатских сообществ. Но в последние годы компании перешли от ценовой дискриминации на уровне районов к индивидуализированному ценообразованию.

Ритейлеры, такие как Amazon, знают так много о том, что вы покупаете, как на их платформе, так и вне ее. И у вас нет возможности узнать, когда ваши выборы влияют на то, сколько вы платите. В 2018 году стало новостью, что Amazon корректирует цены 2,5 миллиона раз в день. Учитывая рост Amazon и развитие ИИ, это число, вероятно, на порядок выше сегодня. Для ритейлеров, таких как Walmart, недостаточно использовать нашу историю покупок. В феврале розничный гигант согласился купить производителя умных телевизоров Vizio за более чем 2 миллиарда долларов, что потенциально дает Walmart огромное количество интимных данных о потребителях. Умные телевизоры не только отслеживают, что мы смотрим с орвелловской точностью, но и отслеживают другие устройства поблизости с помощью ультразвуковых маяков и даже могут подслушивать наши разговоры в приватности наших домов. Vizio, в частности, был оштрафован на миллионы долларов за обвинения в незаконном шпионаже за клиентами.

Ритейлеры знают не только то, что вы купили и сколько зарабатываете, но часто и где вы находитесь, как проходит ваш день и какое у вас настроение, и все это может быть аккуратно синтезировано нейронными сетями ИИ для расчета того, сколько вы готовы заплатить за определенный товар в данный момент.

Нет такой области торговли, которая была бы слишком личной, чтобы оставаться вне досягаемости. Приложения для знакомств собирают данные о наших романтических жизнях, и некоторые откровенно хвастаются этим ради увеличения прибыли. И многие из тех, кто не раскрывает использование персонализированного ценообразования, всё же применяют его. Tinder редко обсуждает свою технологию ценообразования, но Mozilla и Consumers International недавно обнаружили, что это приложение для знакомств использует десятки переменных для радикальной корректировки цен для пользователей. Ваш возраст, пол и сексуальная ориентация служат маркером для ИИ при определении того, сколько вы должны заплатить за любовь.

Если не остановить персонализированное ценообразование, это окажет вредное влияние на общество. Николас Гуггенбергер, доцент Центра права Университета Хьюстона, утверждает, что «скрытая алгоритмическая ценовая дискриминация может подорвать общественное доверие к механизмам ценообразования и тем самым подорвать рынок». Ценообразование с использованием ИИ также означает, что самые отчаянные и уязвимые будут часто платить больше всего. Еще хуже, люди могут быть наказаны за свою расу, возраст или социальный класс. Возьмем, к примеру, обвинение по поводу батареи телефона. Пожилые люди в два раза чаще, чем молодые пользователи, имеют телефон, которому не менее трех лет. Поскольку старые смартфоны имеют меньший срок службы батареи, пожилые люди могут платить больше, чем молодые, за те же поездки на Uber.

«Алгоритмическая ценовая дискриминация может фактически автоматизировать ростовщичество», — говорит Гуггенбергер. «Если ваша батарея вот-вот разрядится и вы находитесь в сельской местности, приложение для совместного использования поездок может резко повысить вашу «персонализированную цену».

Большая часть ценообразования с использованием ИИ действует как регрессивный налог, взимая с тех, у кого больше всего, наименьшую сумму. Для людей в неблагополучных районах, с меньшим количеством магазинов и меньшим количеством альтернатив, часто нет другого выбора, кроме как нажать «купить сейчас», даже если это причиняет боль. Как сказала профессор права и защитник прав потребителей Зефир Тичоут в интервью The American Prospect, мы не должны рассматривать эту практику как нечто столь безобидное, как персонализированное ценообразование — вместо этого она называет это ценами под наблюдением.

Мы знаем, как доказать человеческую дискриминацию. Если магазин в районе с преимущественно чернокожим населением взимает больше, чем его аналог в районе с преимущественно белым населением, тестировщики могут пойти в каждый магазин, записать цены и подать иск. Такой вид тестирования был в основе защиты прав потребителей на протяжении большей части века. Но как доказать дискриминацию со стороны алгоритма? Нет магазинов, которые можно посетить, нет ценников для сравнения, только миллионы экранов, изолированных в карманах людей. Результатом может стать патовая ситуация, когда вы можете получить достаточно данных, чтобы доказать дискриминацию, только подав в суд на компанию, но не можете подать в суд на компанию, не имея сначала данных. Мы можем стать свидетелями появления извращенного, странного правового мира, где компании, использующие предвзятые алгоритмы для тайной корректировки цен, сталкиваются с меньшим юридическим контролем, чем обычные магазины.

Я надеюсь, что ситуация настолько мрачна, а потенциал для злоупотреблений настолько ясен, что даже наша дисфункциональная демократия не примет этого. Наши законодатели были так медленны в ограничении вреда от новых технологий, даже когда становится ясно, например, что это подрывает нашу демократию. Но даже в эти поляризованные времена ИИ-карманничество может стать одной из тех редких проблем, которые способны объединить нас в негодовании.

Автор Альберт Фокс Кан
Оригинальная статья

Понравилась статья? Подпишитесь на мой блог на vc.ru.