Пол Букхейт: Сила ссылок и ценность глобальных знаний

Перевод эссе Paul Buchheit The power of links and the value of global knowledge

Давным-давно, до Google, поисковые системы оценивали и ранжировали веб-страницы, рассматривая каждую страницу отдельно, изучая размер шрифтов, содержимое метатегов и т. д. В некоторых случаях можно было даже «захватить» списки других сайтов, просто клонировав их HTML. Возможно, несколько поисковых систем попытались улучшить это с помощью простой тактики, такой как подсчет количества ссылок на страницу, но в целом это было бесполезно, поскольку очень легко создавать «фальшивые» ссылки, чтобы увеличить ваш счет.

С PageRank Google применил совершенно другой подход. Вместо того, чтобы рассматривать каждую страницу отдельно, они изучили структуру ссылок всей сети и вычислили глобальную оценку этой структуры. Другими словами, они начали смотреть на весь лес, а не только на отдельные деревья. Google делал и другие вещи: PageRank — лишь один из многих факторов, но этот общий подход к оценке информации в глобальном контексте является фундаментальным для многих алгоритмов. Эти алгоритмы помогли Google определить, какие веб-сайты действительно важны, а какие просто притворяются. Конечно, Google не идеален, и люди все еще могут в некоторой степени манипулировать ранжированием, но он был значительно лучше, чем старый, и достаточно хорош, чтобы стать основой того, что сейчас является компанией с оборотом в 174 миллиарда долларов.

На прошлой неделе я писал о том, что Facebook собирает подобную информацию о людях. Собирая информацию о людях и связях между ними, они могут начать получать глобальное представление о человеческом «лесу». К сожалению, судя по многим ответам, этот пост был написан не очень хорошо. Многие люди были сосредоточены на том, насколько раздражающими являются приложения Facebook (правда), как результаты поиска, ограниченные вашими друзьями, были бы бесполезными (тоже правда), или на других вещах, совершенно не связанных с моей точкой зрения. Несколько человек упомянули, что Facebook не сделал ничего полезного с этими данными, что на самом деле является хорошим замечанием, но я думаю, что это больше связано с Facebook и новизной данных, чем с ценностью данных. В конце концов, Интернет существовал задолго до того, как появился Google и начал прибыльно анализировать структуру ссылок.

Сделает ли когда-нибудь Facebook что-нибудь полезное с данными о человеческих ссылках? Я понятия не имею, и это не особенно важно для меня. Однако я уверен, что КТО-ТО начнет добывать эти данные, и что в конечном итоге они могут быть более ценными, чем данные ссылок из Интернета. Facebook — удобный пример, потому что у них есть фора в сборе данных, но другие могут быть первыми, кто на самом деле получит от этого прибыль. Google, в частности, намного лучше справляется с интеллектуальным анализом данных, а также имеет довольно много данных о человеческих ссылках (из Gmail и Orkut). У Microsoft+Yahoo тоже будет неплохой набор данных, хотя я сомневаюсь, что они будут знать, что с ним делать. Конечно, ни одна из этих данных не является идеально чистой и бесшумной, но реальные данные никогда не бывают таковыми — Интернет, конечно, не является таковым.

За перевод спасибо Andrey Yakushin

Следите за новостями Мировоззрение Y Combinator в телеграм-канале.