{"id":13711,"url":"\/distributions\/13711\/click?bit=1&hash=993ce7f10a29e09ef6007450140ef5fcebecd55805799940a93c3efe78cce5e3","title":"\u0411\u043e\u0438\u0442\u0435\u0441\u044c \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0431\u0443\u043c\u0430\u0433? \u0412\u043e\u0442 \u043f\u0430\u0440\u0430 \u0441\u043e\u0432\u0435\u0442\u043e\u0432 \u043e\u0442 \u0438\u043d\u0432\u0435\u0441\u0442\u043e\u0440\u043e\u0432","buttonText":"\u0427\u0438\u0442\u0430\u0442\u044c","imageUuid":"9ff620a4-3fae-5002-9694-5d10fe8c5bbf","isPaidAndBannersEnabled":false}

Поиск Google отдаёт предпочтение крупным компаниям и ведёт чёрные списки запросов: главное из расследования WSJ Статьи редакции

Журналисты провели более сотни интервью в попытках понять, как компания вмешивается в работу поисковика.

Издание Wall Street Journal опубликовало большое расследование работы поиска Google — журналисты провели более 100 интервью и несколько недель изучали выдачу самостоятельно.

3,8 млн запросов, по оценкам журналистов WSJ, получает поиск Google в минуту.

90% мирового рынка поисковых систем принадлежат Google.

Более $900 млрд составляет капитализация материнского холдинга Alphabet.

Руководство Google неоднократно подчёркивало на публичных мероприятиях, в том числе во время слушаний в Конгрессе США, что компания не вмешивается в составление поисковой выдачи вручную: алгоритмы поиска совершенно объективны, полностью автономны и «не испорчены» влиянием человеческих или бизнес-интересов.

Собеседники WSJ рассказали, что в 2018 году Google внесла в алгоритмы более 3200 изменений разного рода, в 2017 году — 2400, в то время как в 2010 году — около 500. В Google объясняют это тем, что около 15% запросов сейчас представляют слова или комбинации слов, с которыми система ранее не сталкивалась, что заставляет разработчиков корректировать работу алгоритмов — чтобы те предоставляли как можно более релевантные результаты.

«Наше расследование показало, что команда Google вмешивается в формирование поисковой выдачи в гораздо большей степени, чем готова это признать», — пишет WSJ. Редакция vc.ru выбрала основные идеи из текста.

Поиск отдаёт предпочтение крупным компаниям

Google очень редко в деталях рассказывает, какие именно изменения вносит в алгоритмы и зачем, и это «приводит в замешательство» некоторые компании и сообщества, которые чувствуют, будто их судьба зависит от прихотей гиганта.

Компания пытается рассказывать о работе своих алгоритмов, но только до той степени, которая не позволит злоумышленникам воспользоваться полученной информацией для манипуляций с поиском.

WSJ

Например, в поиске Google отдаёт предпочтения крупным компаниям, исходя из предположения, что покупатель охотнее приобретёт что-то в большом и известном магазине. Это приводит к тому, что большую часть верхних строк выдачи часто занимает Amazon — даже по запросам о продуктах, которые уже вышли из продажи в магазине.

Эту проблему внутри Google обсуждают несколько лет, но руководство каждый раз решает ничего не менять, рассказали собеседники издания.

Представительница Google в комментарии отвергла предположение о том, что поисковой алгоритм должен отдавать предпочтение крупному бизнесу. «Неверно также полагать, что мы не пытаемся решить проблему с отображением вышедших из продажи товаров на высоких позициях в выдаче», — сказала она.

В дополнение крупные компании получают советы по тому, как улучшить свои позиции в поиске, в то время как небольшим проектам, которые не знакомы с командой поисковика, такие подсказки недоступны, рассказали сотрудники Google в беседе с журналистами.

Руководитель одного из крупнейших рекламных клиентов Google — агентства iProspect — рассказал, что после крупных обновлений его команда проводит звонки с разработчиками, которые подробно объясняют, что именно изменилось. «Однако в Google нам не сообщают ничего такого, о чём компания не рассказывала бы публично», — говорит он.

Так, в 2014 году eBay заметила, что стала получать меньше трафика из Google, на что получила объяснение: поисковик пессимизировал позиции части страниц eBay в выдаче. После длительных переговоров с командой в целом и с отдельными разработчиками Google согласилась вернуть части страниц прежние позиции при условии, что онлайн-аукцион проследит за их наполнением и релевантностью.

Компаниям без влияния eBay приходится сложнее: WSJ приводит в качестве примера историю купонного сайта DealCatcher, который за день потерял около 93% трафика из-за изменения алгоритмов выдачи. У команды не было контактов в Google, так что она наняла консультанта, который попытался связаться с представителями компании, однако так никогда и не получил ответа. Спустя месяц трафик так же неожиданно вернулся.

Google мягче относится к вмешательству в непоисковые блоки страницы и старается не «подстрекать» пользователей

Компания вмешивается в работу дополнительных блоков, которые появляются на одной странице с поисковой выдачей — например, подборок новостей или видеороликов по теме, полей «пользователи также искали» и «знаний», которое собирает сводную информацию по запросу.

​Синим цветом обозначены непоисковые блоки, зелёным — поисковая выдача

По словам журналистов WSJ, Google «совершенно по-разному» формирует поисковую выдачу и список релевантных запросов в строке автозаполнения.

WSJ несколько недель тестировало автозаполнение на примере нескольких спорных запросов (они касались некоторых политиков, включая Дональда Трампа, наркотиков, абортов, иммигрантов) и заметило, что в ответ на ряд запросов не предлагает многие варианты, которые оказывались в подсказках от Bing от Microsoft и DuckDuckGo.

Например, по запросу "abortion is" («аборт это») Google предлагает варианты автозаполнения: "legal" («легально»), "normal" («нормально»), "safe" («безопасно»), "a constitutional right" («конституционное право»). Bing предлагает в том числе варианты: "bad" («плохо»), "immoral" («аморально»), "not murder" («не убийство»). В ряде тестов по другим запросам выдача Google предлагала как либеральные, так и более консервативные варианты.

В публичных правилах Google указано, что функция автозаполнения не может предлагать пользователю строки, связанные с харассментом, угрозами, «ненадлежащей сексуализацией» или раскрытием частной и деликатной информации.

Такие правила частично заложены с момента создания функции автоподсказки в 2004 году. Её разработчик Кевин Гиббс сразу запретил попадание в строку автозаполнения описания сексуальных актов, даже если такой запрос был одним из самых популярных.

«Без фильтрации список запросов зачастую выглядел ужасно», — говорит Гиббс, который покинул Google в 2012 году. В Google до сих пор ведут чёрный список запросов, которые изымаются из списка предложений вручную, рассказал источник WSJ.

У компании есть и другие чёрные списки

На слушаниях в Конгрессе представители Google заявили, что компания не ведёт чёрные списки. В комментарии для WSJ в компании уточнили, что речь шла только о политически мотивированных чёрных списках компаний, людей или сайтов.

Собеседники WSJ рассказали, что Google ведёт списки сайтов, которые не могут появиться в поисковой выдаче вообще или по определённому запросу. Причём они не имеют отношения к списку страниц, которые Google обязана исключать из выдачи по закону — его ведут отдельно.

С 2010 по 2018 год Google получила 685 тысяч запросов на удаление ссылок из поисковой выдачи от правительств по всему миру. 78% из них — с 2016 по 2018 год.

Чаще всего такие запросы приходят из России — всего в российском правительстве потребовали удалить из выдачи 255 тысяч ссылок. Источник WSJ в Google сказал, что чаще всего это запросы об удалении ссылок на страницы с запрещенной в России информацией — с пропагандой наркотиков или суицида.

Сайт может попасть в чёрный список, например, если использует спам-тактики вывода в верхнюю часть поисковой выдачи, искусственно набивая себе рейтинг.

Сооснователь Google Сергей Брин с самого основания компании выступал против введения агрессивной антиспам-политики — он считал, что работа по определению спама потребует слишком большого человеческого вмешательства. Источники WSJ заметили, что еврей по происхождению Брин лично выступил за показ антисемитских сайтов в выдаче по запросу "jew" («еврей»).

Другой источник рассказал, что в 2004 году другой сооснователь Ларри Пейдж, столкнувшись в туалете с топ-менеджером «Поиска» Беном Гомесом, дал тому добро на борьбу со спамом: «Делайте что нужно. Сергей просто разрушит эту компанию». После этого компания ослабила требования о невмешательстве в результаты поиска.

На слушаниях в Конгрессе представители компании утверждали, что любое изменение алгоритма рассматривается специальным комитетом. Источники WSJ рассказали, что это длительное мероприятие, подобное защите диссертации — поэтому на самом деле множество мелких изменений принимают без одобрения комитета.

Представители Google подтвердили изданию, что изменения не всегда рассматриваются на заседаниях, но любое из них так или иначе оценивается по другим принципам.

Косвенно влиять на результаты выдачи могут и сотрудники, и подрядчики, и другие стороны

В компании не могут прийти к соглашению насчёт допустимой степени вмешательства в результаты поиска, поэтому любой сотрудник может пожаловаться на выдачу, которая не кажется ему подходящей.

Например, в 2015 году один из сотрудников пожаловался на результаты выдачи по запросу «как вакцинация вызывает аутизм» ("how do vaccines cause autism"): в выдаче появлялись ссылки на сайты, агитирующие против прививок. Некоторые работники выступали за то, чтобы дать алгоритму самостоятельно ранжировать результаты, но в итоге на первое место выдачи вывели сайт howdovaccinescauseautism.com — страницу с единственной фразой на ней: "They f—ing don’t" («Никак, *****»).

«Построить и поддерживать сервис вроде Google — значит принимать тысячи сложнейших решений. С одной стороны, для этого компания и нанимает лучших разработчиков мира — они решают эти проблемы при помощи миллионов строк сложного кода. С другой стороны, наравне с ними Google располагает армией из 10 тысяч низкооплачиваемых подрядчиков, которые сидят у себя дома и оценивают результаты работы, — пишет WSJ. — Рейтинги, которые они составляют на основе гайдлайнов от компании, также влияют на позиции сайтов в выдаче».

Один из таких подрядчиков рассказал WSJ, что в 2016 году оплата за час работы составляла $13,5. За год работы с ним ни разу не связался никто из команды Google и не рассказал, как компания использует результаты его работы. При этом компания часто присылала документы, в которых описывала, как именно должны выглядеть правильные результаты выдачи.

Представительница Google заявила, что гайдлайны работы таких подрядчиков «абсолютно прозрачные», и компания всегда явно обозначает, что именно делают её алгоритмы и для чего.

Глава Google с 2015 года Сундар Пичаи, по словам источников WSJ внутри компании, гораздо более открыт к обсуждению конкретных результатов поисковой выдачи со сторонними компаниями и людьми, чем основатели Сергей Брин и Ларри Пейдж.

Сундар Пичаи

Google не ставит в приоритет борьбу с дезинформацией

Внутреннее расследование Google в 2016 году показало, что примерно в 0,1–0,25% случаев в поисковую выдачу попадает дезинформация того или иного рода, говорит один из топ-менеджеров компании. По подсчётам WSJ, это около 2 миллиардов поисковых запросов в год. При этом Facebook, для сравнения, попала под внимание Конгресса из-за политической рекламы, которую увидели около 126 миллионов пользователей.

Представительница Google объяснила, что в 0,1–0,25% случаев речь идёт не исключительно о дезинформации, а о любом несоответствии результатов поисковой выдачи стандартам качества компании. Она также отвергла точность расчётов WSJ о количестве поисковых запросов, которые Google получает в год.

WSJ замечает, что другие платформы вроде Facebook и Twitter борются с дезинформацией вручную, вводя чёткие правила касательно контента, который нельзя размещать на их платформах, в то время как Google пытается бороться с ней алгоритмическими методами, выстраивая модели фильтрации поиска. В компании говорят, что Google, в отличие от той же Facebook, занимается лишь индексацией контента, а не его публикацией — поэтому принимает в его фильтрации не такое активное участие.

Один из топ-менеджеров Google сказал WSJ, что проблема определения дезинформации слишком сложная и компания просто не желает в неё погружаться.

0
54 комментария
Написать комментарий...
Крымский Чайничек

 у меня знакомый работал в гугле на хорошей позиции. Ну и я его спрашиваю пару лет назад об том как именно работает их поиск. Ответ его был примерно таков: гугл утратил понимание как работает его поисковик еще в году так 2008. То есть они знают как работают те или иные алгоритмы по отдельности, но не как все вместе взятые. 

Ответить
Развернуть ветку
Vl Al

Да, какая разница, если дальше третей страницы забредают только редкие странники. После десятой - можно закольцевать выдачу и никто не заметит.

Ответить
Развернуть ветку
8 комментариев
Uh-Er-Oh Ah-Umm

Это так похоже на реальный порядок вещей в IT, что вполне может быть правдой.

Ответить
Развернуть ветку
2 комментария
Kuper Bad

Я тоже так думаю, раньше я мог найти информацию, а сейчас в выдаче выпадает все что популярно. К примеру хотел найти, когда был последний медведь в жигулевском заповеднике. Мне куча ответов - медведь в Жигулевске, видео с медведем в Жигулевске, и кучу сайтов где этот медведь гуляет в Жигулевске. Хоть Вики помогло, как-то гуляли в этих лесах и немного поспорили, что там не медведь вдалеке, а кабан скорее всего. И не мог вспомнить, то ли в в начале века их уже не было то ли, в 19, оказался второй вариант.

Ответить
Развернуть ветку
Александр Балалеев

Вообще не понял на чем строятся обвинения этой желтушной газеты.
Ну да, большие компании выше в поиске, на них же чаще переходят.

Ответить
Развернуть ветку
Руслан Сычев

Хрен бы с ними с компаниями, но гугл манипулирует и политической выдачей

Ответить
Развернуть ветку
8 комментариев
Олег Нечаев

Там вопрос в другом, если ответ не подразумевает именно большую компанию, но она в выдаче появляется. Попробую условный пример... "Что такое Prime video?" Среди ответов на вопрос будет ссылка на сайт Amazon , но ниже будут сайты которые прямо отвечают на вопрос. Пример не очень, но такое бывает и бывает очень явно когда алгоритм за меня думает. Стоит только задать редкий или "нелепый" вопрос, то вообще все ломается. 

Ответить
Развернуть ветку
2 комментария
Kuper Bad

Ну так и у этих компаний бюджет больше на рекламу, поэтому думаю все таки это обосновано. А у малого бизнеса, только хороший smm специалист с достаточным бюджетом может прокачать (снизить) стоимость кликов. Да, в статье, написанно про факапах, но малый бизнес порой тоже не знает как это работает, особенно ИП где он продавец, кассир, кладовщик и т.д. думает ща 10к дам и все сразу попрет)

Ответить
Развернуть ветку
Anton Reut

"Поиск Google отдаёт предпочтение крупным компаниям" - нет блять, давайте отдадим топ ноунэйм-ларёчникам которые даже бухгалтерию нормально вести не могут, просирают заказы и не выполняют обязательства в срок, в результате на таких совершенно нельзя рассчитывать и они постоянно подводят заказчиков. Зато типа "справедливость" ага.

Ответить
Развернуть ветку
Leonid Sobchenko

ну я не был бы так категоричен) у меня в жизни есть примеры, когда поисковик(не гугл) выдает по запросу товара дичь из кирова нижнего новгорода питера и москвы. А товар этот продают у меня в городе в 5 минутах ходьбы. В гугле кстати этот магазин первый в выдаче.

Ответить
Развернуть ветку
Oleg Oleg

Абсолютное большинство людей просто не понимает, насколько велико влияние google в реальной жизни.
И я просто счастлив, что в России есть ещё и Яндекс.

Ответить
Развернуть ветку
Катя Логинова

Который делает все то же самое. Их результаты выдачи вообще не понятно по какой логике построены:)

Ответить
Развернуть ветку
5 комментариев
- -

С их убогими «путиностями» на главной странице?

Ответить
Развернуть ветку
Павел Андрейчук

Эту статью надо в раздел SEO

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
A.A. Rayskiy

Гугл это Скайнет:)

Ответить
Развернуть ветку
Alex Frolov

Надо попросить Комсомолку провести подобное расследование по поводу Яндекс. Думаю, что узнаем много интересного про отечественный «справедливый» поисковик...

Ответить
Развернуть ветку
Serge Sokolov

Если у Гугла, что-то в черном списке, Яндекс немедленно ставит туда же. Если Гугл решают все-таки убрать  запрет, в Яндексе предпочтут перебздеть и  оставят.  

Ответить
Развернуть ветку
Николай

tl,dr: Гугл выпустил сервис, который монополизировал рынок поиска и благодаря этому его возможности по продвижению той или иной информации в интернете стали воистину безграничны. Гугл об этом знает, и, злобно хихикая, крутит свой поиск как хочет. Мотивы Гугла известны только ему самому

Ответить
Развернуть ветку
Павел Андрейчук

мотив один- заработать бабла при этом не задоив до смерти дойную корову.

Ответить
Развернуть ветку
В.М.

Я не знаю какие умные алгоритмы они вводят понимания запросов, но вот банально я ищу как ОТКЛЮЧИТЬ звук подключения зарядки к новому макбук, а он показывает  не исключительно, как включить((( у Яндекса такая же фигня

Ответить
Развернуть ветку
Возрастной калькулятор

Несколько лет назад я обратила внимание на то, что Google выдаёт в результатах поиска всякую дичь, с тех пор пользуюсь Яндекс для русскоязычных запросов и Bing для всех остальных.

Ответить
Развернуть ветку
Vl Al

"всякую дичь" - Оба этим грешат. Стоит только плотно поискать что-то узкое и дорогое. И потом две недели таскаешь за собой этот хвост в выдаче и рекламных баннерах.

Ответить
Развернуть ветку
Andron Andronov

такая же беда
запускаю и бинг, тор, яндекс

Ответить
Развернуть ветку
Denis Kiselev

Есть фундаментальная проблема у поисковика: с одной стороны он должен ориентироваться на популярность той или иной информации, а с другой стороны - на ценность этой информации. Порой - вещи эти не пересекаются - как пример, любой распространённый стереотип (как с прививками). И проблема в том, что ценность информации алгоритм с трудом улавливает - скорее тут оценка персоналом используется

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Sandy Bell

Неверно также полагать, что мы не пытаемся решить проблему... Гениальная фраза.
На все случаи.

Ответить
Развернуть ветку
Saucedo Puetz

Яндекс то же самое, сверху только сервисы яндекса или жирные партнеры. 

Ответить
Развернуть ветку
Timur Sultanov

Явление начала 10-х - Occupy Wall Street, в 20-е будет Occupy Silicon Valley. 

Ответить
Развернуть ветку
Сергей Михалёв

Ничего нового и страшного.

При поиске товаров ссылки в основном на Амазон? Так там феерический условный pagerank, всё логично.

Гугл не борется с дезинформацией? Это поисковик, он и не должен, иначе нарушается нейтральность поисковой системы. Да, в итоге по запросу "сколько денег можно вывозить из россии 2019" выдается устаревшая много лет назад информация про $3000, и это неприятно, но это решается не политикой "скажем дезинформации нет", а работой над пониманием актуальности документов.

Гугл скрывает из подсказок порно и маты? Всю дорогу так было, и никогда не заминалось. Даже вот либеральнее стали, иногда и их теперь показывают.

Ответить
Развернуть ветку
В.М.

ну вроде как они уже давно отказались от PageRank

Ответить
Развернуть ветку
Oleg Dergilev

Я уверен в двух вещах: гугл может и регулярно вмешивается в поиск вручную, алгоритм гугла работает уже непонятно как и дополнения не упрощают эту проблему.

Ответить
Развернуть ветку
Читать все 54 комментария
null