Яндекс индексирует всю открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета.
В среду вечером в службу поддержки обратились пользователи с жалобами на проблему доступности файлов на docs.google.com. Наша служба безопасности связывается сейчас с коллегами из Google, чтобы обратить их внимание на то, что в этих файлах может оказаться приватная информация.
Проиндексированы документы, на которых нет ссылок! Каким образом они попали в базу Яндекса? Не через Яндекс браузер случайно? robots.txt тут вообще не причём. Какие ещё документы и данные, на которых нет ссылок, могут оказаться в базе Яндекса ?
robots.txt - это запрет сканирования, а не индексации. Запрет индексации это noindex/X-Robots-Tag. Наоборот нельзя запрещать сканирование в robots.txt.
Возможность перейти во ссылке без ввода логина и пароля, не означает публичности ссылки. Ссылки на гугл.документы уникальны и доступны только автору документа и тем с кем он поделился, но не всему интернету, если их специально не публиковать на каких-нибудь открытых сайтах. Как эти ссылки оказались в индексе у Яндекса, если они были только у ограниченного круга людей и не публиковались открыто? Надо полагать, Яндекс бразуер просто их эээ... позаимствовал и передал на индексацию и дальше в публичный доступ. На этом Яндекс ловили и раньше. Корпорация добра не изменяет себе.
Непонятно, почему это все преподносят как фейл Яндекса, хотя очевидно, что это фейл людей, которые зачем-то хранят чувствительную информацию в общедоступных документах (или доступных по ссылке), а потом публикуют эту ссылку где-то в публичном месте.
суть проблемы, если я понял пр., в том, что люди, возможно, расшаренные ссылки не выкладывали никуда, а просто, например, открыли в фсбраузере от яндекса
Сами посмотрите у дакдакгоу в выдаче сплошные инструкции и подобные файлы на которые есть ссылки в интернете, у Яндекса же в выдаче были совсем другие файлы.
ребята, crawling, индексация и классификация документов занимает ДНИ если не недели. Не мог яндекс взять и за час облететь все гугл-доки и начать их выдавать. А значит все эти доки УЖЕ БЫЛИ В ИНДЕКСЕ, просто вчера кто-то случайно накатил их в продакшен :)))
Так что делайте выводы. Яндекс наверняка палит нас через: 1) Яндкс-браузер 2) Яндекс-почту 3) Мобильные приложения (такси, карты, навигатор вполне могут мониторить "буфер обмена") 4) Пунто-свитчер
Я никого не оправдываю, если ты выложил в паблик гул-док - ты сам д*олбоеб, никто не спорит. Просто задумайтесь, как нас мониторят. Не только Гугл и Фейсбук - Яндекс тоже. Это не плохо и не хорошо, просто надо понимать.
PS. но все запомнят только скандал с тинькофым. Я яндекс так и продолжит все палить
Нет не проблема гугла. У тебя есть секретная ссылка. Ты её нигде открыто не публиковал. И вдруг она в поиске Яндекса. Как так? Разгадка простая, - Яндекс берет и передает все ссылки, которые ты открываешь в его Я.браузере, на индексацию в свой поисковик. Но какого черта? Это не публичные ссылки. Так что проблема не у Гугла.
Ну и что? Раз они в публичном доступе, вероятно, ниче страшного. Они уже давно были проиндексированны Гуглом. Ну, а то, что некоторые хранят пароли в публичном доступе - тоже, не новость, в общем-то.
robot.txt — это _рекомендация_ к роботу, а не руководство к его действию. Кто-то прочитает robot.txt, а кто-то проигнорирует. Если есть физическая возможность что-то проиндексировать — скорее всего, это будет кем-то проиндексировано.
Только что закрыли эти все документы похоже. Я успел поулыбаться с людей. Особенно с тех, кто закрыл публичный доступ, но не подумал, что есть функция посмотреть сохранённую копию. Яндекс конечно молодец, что прикрыл эту возможность. Но думать надо своей головой. Есть и другие поисковики. В общем безопасность должна быть безопасной.
Вы путаете причину и следствие. Ссылка приватная. Её нельзя подобрать, угадать. Она доступна автору и тем кому он её явно передал. Яндекс НЕ нашел эту ссылку в публичных местах. Он нашел её на компьютере пользователя. И украл. Проблема именно в этом.
Тут нужно или смириться, что эти данные могут утечь (хакнут все, рано или поздно). Либо шифровать, либо использовать облако, которое шифрует, либо использовать свое собственое облако, либо использовать внутреннюю файлопомойку
Я правильно понимаю, что у Яндекс есть специальный поисковой сервис для Товарища Майора? как тонко намекнул @plushev // Через поиск Я.Майор можно найти даже то, что писали в Телеге, если засветили в Яндекс.Браузере?
Яндекс индексирует всю открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета.
В среду вечером в службу поддержки обратились пользователи с жалобами на проблему доступности файлов на docs.google.com. Наша служба безопасности связывается сейчас с коллегами из Google, чтобы обратить их внимание на то, что в этих файлах может оказаться приватная информация.
Проиндексированы документы, на которых нет ссылок! Каким образом они попали в базу Яндекса? Не через Яндекс браузер случайно? robots.txt тут вообще не причём. Какие ещё документы и данные, на которых нет ссылок, могут оказаться в базе Яндекса ?
А такой вопрос — Яндекс браузер каким то образом собирает данные для большого поисковика Яндекса?
robots.txt - это запрет сканирования, а не индексации. Запрет индексации это noindex/X-Robots-Tag. Наоборот нельзя запрещать сканирование в robots.txt.
Надо признать у других поисковиков давно так
А еще вы добавляете в индекс непубличные адреса, которые пользователь открывает в вашем браузере.
Нормаль так гуглу поднасрали, жаль, что обычных людей задели
Возможность перейти во ссылке без ввода логина и пароля, не означает публичности ссылки. Ссылки на гугл.документы уникальны и доступны только автору документа и тем с кем он поделился, но не всему интернету, если их специально не публиковать на каких-нибудь открытых сайтах. Как эти ссылки оказались в индексе у Яндекса, если они были только у ограниченного круга людей и не публиковались открыто? Надо полагать, Яндекс бразуер просто их эээ... позаимствовал и передал на индексацию и дальше в публичный доступ. На этом Яндекс ловили и раньше. Корпорация добра не изменяет себе.
А вот что еще в выдачу попало
Хз я давно голубей юзаю дешевле выходит и вроде как старообрядчески
как там с пингом и потерями пакетов? Стоит переходить?
Все, Яндекс очухался :) кто что успел скачать?
Ну самое важное я успел сохранить)
Диагнозы украинским программистам: https://docs.google.com/spreadsheets/d/1G6k4jAGzmU3T68GWpbqq5w_m4uD1F-U6h47Sq7AZqm0/htmlview#gid=0
Зарплаты дизайнеров: https://docs.google.com/spreadsheets/d/1_hcoJyWIR2nKpSaw31SlRQ4SeMAhN57y0KI1Q6YlzIw/htmlview
Цены инстаграм блогеров:
https://docs.google.com/spreadsheets/d/1oygRflRRkjg0jvRKyENBa2r_a4-LoP6rbqp6laoe2hE/htmlview
В проиндексированных документах уже веселье. Народ друг с другом переписывается.
РКН, сосатб!
Непонятно, почему это все преподносят как фейл Яндекса, хотя очевидно, что это фейл людей, которые зачем-то хранят чувствительную информацию в общедоступных документах (или доступных по ссылке), а потом публикуют эту ссылку где-то в публичном месте.
Оно же не только в выдаче Яндекса, оно у кого угодно, хоть у Дакдакгоу.
https://duckduckgo.com/?q=%D0%BF%D0%B0%D1%80%D0%BE%D0%BB%D0%B8+site%3Adocs.google.com&ia=web
суть проблемы, если я понял пр., в том, что люди, возможно, расшаренные ссылки не выкладывали никуда, а просто, например, открыли в фсбраузере от яндекса
У Дакдакго использует, среди прочего, поисковую выдачу Яндекса, так что это не сильно удивительно, что то, что есть в Яндексе есть и в DDG.
Сами посмотрите у дакдакгоу в выдаче сплошные инструкции и подобные файлы на которые есть ссылки в интернете, у Яндекса же в выдаче были совсем другие файлы.
ребята, crawling, индексация и классификация документов занимает ДНИ если не недели. Не мог яндекс взять и за час облететь все гугл-доки и начать их выдавать. А значит все эти доки УЖЕ БЫЛИ В ИНДЕКСЕ, просто вчера кто-то случайно накатил их в продакшен :)))
Так что делайте выводы. Яндекс наверняка палит нас через:
1) Яндкс-браузер
2) Яндекс-почту
3) Мобильные приложения (такси, карты, навигатор вполне могут мониторить "буфер обмена")
4) Пунто-свитчер
Я никого не оправдываю, если ты выложил в паблик гул-док - ты сам д*олбоеб, никто не спорит. Просто задумайтесь, как нас мониторят. Не только Гугл и Фейсбук - Яндекс тоже. Это не плохо и не хорошо, просто надо понимать.
PS. но все запомнят только скандал с тинькофым. Я яндекс так и продолжит все палить
Комментарий недоступен
Поисковая система «Яндекс» проиндексировала документы Google Docs
А она не может? Это не проблема Гугла разве?
Нет не проблема гугла. У тебя есть секретная ссылка. Ты её нигде открыто не публиковал. И вдруг она в поиске Яндекса. Как так? Разгадка простая, - Яндекс берет и передает все ссылки, которые ты открываешь в его Я.браузере, на индексацию в свой поисковик. Но какого черта? Это не публичные ссылки. Так что проблема не у Гугла.
Лучше бы группы ВК индексировать нормально, как Гугл
Ну и что?
Раз они в публичном доступе, вероятно, ниче страшного. Они уже давно были проиндексированны Гуглом.
Ну, а то, что некоторые хранят пароли в публичном доступе - тоже, не новость, в общем-то.
Тут дело в том, что открылись ещё и доки с доступом по ссылке
Документ доступный по оверхешной ссылке сложно назвать публичным.. Сами так регулярно шарим для своих.
Пошел дождь.
К утру нас ждёт интересная подборочка инсайдов
В очередной раз понимаешь, что robot.txt не является защитой от индексации.
А должен?
robot.txt — это _рекомендация_ к роботу, а не руководство к его действию. Кто-то прочитает robot.txt, а кто-то проигнорирует. Если есть физическая возможность что-то проиндексировать — скорее всего, это будет кем-то проиндексировано.
Все! Прикрыли лавочку)
так в доках ВК аналогично
люди не умеют в приватность
Помимо всего, Яндексу не нравится конкуренция с Гугл. Было время, эти медиакомпании о чем то договорится не могли.
Да вот, как понимать, что по одному из запросов с текстом ℅овно как раз в выдаче на картах офис Гугла в России в Я.Картах выдавлся?
Только что закрыли эти все документы похоже. Я успел поулыбаться с людей. Особенно с тех, кто закрыл публичный доступ, но не подумал, что есть функция посмотреть сохранённую копию.
Яндекс конечно молодец, что прикрыл эту возможность. Но думать надо своей головой. Есть и другие поисковики. В общем безопасность должна быть безопасной.
Вы путаете причину и следствие. Ссылка приватная. Её нельзя подобрать, угадать. Она доступна автору и тем кому он её явно передал. Яндекс НЕ нашел эту ссылку в публичных местах. Он нашел её на компьютере пользователя. И украл. Проблема именно в этом.
отличный слив, чтобы пользователи вирусов нахватали
MAC адреса процентов у 60% из списка. По остальным не определить где это вообще. Российских там 4 шт.
знаю организации, которые хранят двнные компании там. Не в домене gsuite, а в бесплатном потребительском гугл-диске 🙈
какая разница то? Защита там одинаковая
Тут нужно или смириться, что эти данные могут утечь (хакнут все, рано или поздно). Либо шифровать, либо использовать облако, которое шифрует, либо использовать свое собственое облако, либо использовать внутреннюю файлопомойку
Яндекс вообще молодцы, на две недели по ошибке вышвырнули сайт из индексации. Спасибо Яндекс
Я правильно понимаю, что у Яндекс есть специальный поисковой сервис для Товарища Майора? как тонко намекнул @plushev // Через поиск Я.Майор можно найти даже то, что писали в Телеге, если засветили в Яндекс.Браузере?