Приёмная
Джейкоб
670

Невидимые наблюдатели

О том, почему уязвима система рейтинга порталов ИД Комитет, как ей могут манипулировать в своих интересах третьи лица и самое важное, как же решить эту проблему.

В закладки
Солдаты Капитолия Голодные игры: Сойка-пересмешница. Часть 1.

Предисловие

Будучи веб-разработчиком начинаешь изучать технические нюансы работы различных систем, порталов и сайтов, невольно сталкиваешься с DDOS-атаками и со взломами, c утечками и уязвимостями, которые не всегда очевидны создателям веб-сервисов и приложений.

В 21-м веке уязвимостям подвержены мы все, DDOS-атака уже не редкость, а лишь вопрос времени, когда тот или иной конкурент начнёт Вас топить, самая настоящая война уже давно ведётся не в поле, а во всемирной паутине, что уж тут говорить о безопасности, когда сотрудник такого гиганта, как Facebook, хранит пароли своих коллег на жестком диске в своей машине.

Утечки происходят регулярно и повсеместно. От них никуда не деться, но не стоит пренебрегать борьбой с ними и их предотвращением.

В данной заметке речь пойдет о найденных мною уязвимостях в системе порталов ИД Комитет, включая VC, TJournal и DTF, которые позволяют манипулировать рейтингом публикаций, количеством их просмотров и самое ужасное влиять на выдачу на главной странице сайта.

По сути описанными ниже методами можно топить хорошие статьи конкурентов или неугодных авторов.

Я предполагаю, что ИД Комитет уже давно в курсе этой проблемы, но почему-то до сих пор технической командой не введены дополнительные меры по борьбе с такими фальсификациями касательно голосования и фиксации просмотров.

Мысль о том, что третьи лица могут с легкостью влиять на главную страницу любого портала Комитета ужасна и я считаю, что это должно быть исправлено.

Ведь каждый из нас приходит на порталы VC, TJournal или DTF, так как доверяет этим порталам, тут люди пишут интересные истории, делятся новостями и рассказывают о своём опыте, формируется digital-сообщество. Наличие подобных уязвимостей подрывает доверие к порталам и материалам, которые публикуются.

Первые мысли о наличии тайных наблюдателей на портале VC у меня возникли после прочтения двух статей клик и клак о ботах Балабанова, а ещё сильнее усугубились после того, как мои хорошие статьи почему-то необоснованно немного заминусовали в одной из категорий, хотя я раскрыл весьма актуальные вопросы в своей статье.

C точки зрения разработчика, мне стало интересно, изменилось ли что-то на технической стороне порталов за пол года, после событий описанных в статье, к сожалению, как оказалось, ничего не изменилось.

Описание уязвимости

Все сайты Комитета работают на одной платформе, это легко заметить по схожему интерфейсу и по весьма похожему внутреннему устройству, каждое действие будь-то лайк, комментарий или сохранение статьи отправляется на конечную точку через оnclick cобытия в Javasctipt коде сайта, после чего запрос на действие обрабатывается сервером. Притензий к этой части сайта у меня нет, все реализовано правильно. Так делают все.

Для толкового программиста сделать реверс-инжиниринг всех этих запросов труда особого не составит, достаточно написать программный код c подкреплением параметров cookie к каждому запросу и оформить необходимые функции.

Для удобства и простоты использования реализовать хранение сессий в файлах, но самое главное зарегать с сотню фейковых аккаунтов для продвижения публикаций, для вывода их на главную страницу сайта, хотя судя по моим наблюдениям достаточно и 15 - 20 лайков в короткий промежуток времени.

На выходе можно получить приватный API для VC.ru, залить его на GitHub и улететь на Карибы, делать кросспостинг статей или тестировать нейросеть, чем скорее всего и занимается Тинькофф со своим ботом Олегом.

Основная проблема заключается в том, что на порталах Комитета довольно просто фальсифицировать помимо прочего просмотры, лайки и сохранения публикаций.

Как решить эту проблему

Ниже будут описаны возможные решения данной проблемы и какие первостепенные меры я бы посоветовал предпринять технической команде:

  • Усложнить доступ к токену и его генерацию, не использовать что-то уж совсем банальное, как это выглядит сейчас:
X-This-Is-CSRF: THIS IS SPARTA!
  • Доступ к системе голосования должен быть усовершенствован. Необходимо ввести принудительную проверку и привязку мобильных телефонов, аналогично тому, что сделал Instagram. Один телефон на не более 5 аккаунтов, лучше всего вообще один телефон на один аккаунт. Метод довольно эффективный и поможет усложнить жизнь невидимым наблюдателям при создании ботов.
  • Метод проверки почты при регистрации не эффективен для борьбы со спамерами, так как данный процесс весьма просто автоматизировать.
  • Для защиты аккаунтов пользователей от взлома на сайте должна быть реализована опция двухфакторной авторизации.
  • Альтернативным критерием доступа к системе голосования считаю возможную реализацию связки с ЕСИА. Все таки создать большое количество учетных записей в системе Госуслуг должно вызвать трудности.
  • Введение лимитов на количество лайков или просмотров со стороны одного сеанса пользователя считаю не самой эффективной мерой, но весьма полезной. Как я понимаю, это уже реализовано.
  • В идеале логгировать действия пользователей и идентифицировать с помощью технологии фингерпринт, в частности анализировать с помощью нейросети на неестественное и ботоподобное поведение, как это сейчас весьма эффективно делает Instagram.

Если у Вас есть другие альтернативы по борьбе с данным видом фальсификаций, прошу Вас описать их в комментариях и помочь технической команде порталов Комитета решить эту проблему раз и навсегда.

C уваженем,

Джейкоб,

Mittelos Laboratories.

А Вы за честный рейтинг?
Да, я считаю это важным, зря статьи пишу что ли 
Мне все равно, это не победить
Нет, я люблю спамить и Вам меня не поймать
Показать результаты
Переголосовать
Проголосовать
{ "author_name": "Джейкоб", "author_type": "self", "tags": ["\u0445\u0430\u043a\u0435\u0440\u044b","\u0443\u044f\u0437\u0432\u0438\u043c\u043e\u0441\u0442\u044c","whitehat"], "comments": 49, "likes": 20, "favorites": 26, "is_advertisement": false, "subsite_label": "claim", "id": 118223, "is_wide": false, "is_ugc": true, "date": "Mon, 06 Apr 2020 22:59:14 +0300", "is_special": false }
Техника
По пути Папы Карло: от деревянного сканера к реальному бизнесу
Сейчас, когда каждый из нас послушно сидит на самоизоляции, мы искренне скучаем по офису, разработке и…
Объявление на vc.ru
0
49 комментариев
Популярные
По порядку
Написать комментарий...

Комментарий удален

5

Да, да, да.
Джейкоб, зарегистрированный вчера, предлагает привязать аккаунт на VC к телефону и госуслугам. 

Ещё что попросите?
Фото с паспортом вам в личку сбросить? Отпечатки пальцев нужны?

Ответить
20

Аккаунт специально левый сделан, мне не нужен пиар, проблема актуальная, если я под своим именем всё вышеперечисленное напишу, потом меня будут бомбить вопросами о том, где такой софт достать и не можешь ли ты его продать. Мне это не нужно.

Ответить
0

Даже нынешние алгоритмы VC эту лажу вычисляют моментально: 

Ответить
0

Возможно человек просто пришел от конкурентов vc ))

Ответить
0

Конкурентов? Вообще не к месту.

Ответить
0

Вообще не аргумент.

Ответить
0

В чем смысл конкурентам писать подобное и раскрывать детали, когда годами можно использовать ботов на VC.ru в своих интересах и продвигать необходимые статьи?

Ответить
–1

Хорошая статья, для периода короны, с его изоляциями и усложнением доступа куда бы то ни было - последствия налицо.
Похоже конкуренты vc наняли наконец то специалиста по PR-у ).

Ответить
21

Аххахахах. Конкуренты?

Накрутки на VC существуют, пока администрация это позволяет. Это уязвимость рейтинговой системы VC, TJournal и DTF. Она легко решается, для системы рейтинга нужно ввести новый алгоритм и запретить пользователям без публикаций, без реальной активности на сайте влиять на выдачу.

Сейчас любой бот может плюсовать/минусовать статьи. И это ужасно.

С короной это вообще никак не связано, почитайте статьи указанные в статье про боты Балабанова. 

Ответить
0

Большое количество пользователей на сайте тоже существует, пока администрация это позволяет. И зачастую их комментарии значительно интереснее статей, под которыми они написаны.
Но приходите вы, регистрируетесь на сайте и единственное что пишите, это то, что администрации не мешало бы ввести полицейский режим как можно скорее.

Ответить
0

Не нагнетайте.

Речь идет о банальном ограничении доступа ботов к системе рейтинга.

Ответить
–1

Речь идет о снижении активности на сайте. Люди на нем живут, потому, что реально могут на что-то влиять. Система рейтинга+адекватное реагирование администрации на жалобы на vc пока лучше чем я где либо встречал. Поэтому я здесь.

Ответить
20

Речь идет о банальном ограничении доступа ботов к системе рейтинга у публикаций. Не нужно приплетать сюда активность на сайте, нормальных пользователей это не затронет.

На данный момент механизмов защиты от такого тут нет, использование человеческих ресурсов администрации это не лучший путь, он весьма дорогой и уже устаревший.

Посмотрите на то, как в прошлом году с этим в одночасье расправился Instagram, разом положив все сервисы массфоловинга и масслайкинга, а потом и масслукинга. 

Если оставить все это без внимания, то сайт потеряет доверие хороших авторов и пользователей.

Ответить
–1

Нормальные пользователи, это люди создающие контент. И их количество при драконовских мерах упадете.

Сайт дает людям равные права, поэтому механизмов защиты вагон. Не нравиться что какая то контора лайкает свою статью с доп аккаунтов? Регистрируйте свои и дизлайкайте эту статью с них. Можете задизлайкать ботов и тогда они уже не смогут никого оценивать.

По поводу хороших авторов, задизлайканные статьи не пропадают втуне, я регулярно просматриваю рубрики и ни разу за все время не встретил ни одной слитой достойной статьи. Зато всякий мусор активно вычищают сами пользователи.

Ответить
3

Привет, спасибо за предложения мы обсудим их с командой.

Накручивать рейтинг статьи, чтобы показать нам уязвимость не стоит, мы дополнительно проверяем все, что попадает аномально в популярное.

Помимо этого уже идет разработка нового алгоритма, который постепенно будет внедрятся после тестов. 

Ответить
0

ИМХО единственное, что стоит изменить, так это отнимать возможность минусить статьи и других пользователей у аккаунтов, не написавших ни одного комментария либо статьи за последние два месяца. Хочешь оценивать других - напиши хоть что то)

Как мне показалось очень немало погоды делают аккаунты с парой комментариев, написанных пару лет назад. Боясь, что их заминусят они не пишут ничего нового, не привнося никакого нового текстового контента, но зато по полной распоряжаясь рейтингами тех, кто этот контент на сайте создает.

Ответить
0

Это вероятно требует от Вас довольно много операционки (постоянного мониторинга) и не всегда подобное можно легко сразу отследить. Всё таки хотелось бы видеть честный рейтинг, даже несмотря на то, что от фейк ньюс сейчас никто тоже не защищён.

Ведь статьи многие пишут стараясь, а имея ботов какой-нибудь троль может повлиять на хороший материал и автор увидев, что его материал заминусовали весьма необоснованно уйдет на другой портал.

Ответить
1

Хотелось бы видеть хорошие и интересные статьи, высокую посещаемость интеллект у комментирующих и активную атмосферу.

По поводу ботов - плюс в том, что любой может наплодить себе такое же количество ботов и продвинуть свою статью). Если компания, выпускающая статью готова тратить свое время на поддержание кучи акков, написание коментов, повышение активности на сайте, это прекрасно!

Достоинсво vc в значительно больших по сравнению с многими конкурентами свободе и равноправии участников, но всегда найдется кто-то кому такая свобода спать не дает))

Ответить
0

Чем больше лжешь, тем легче тебе это дается.

Ответить
0

Без труда не вытащишь и рыбку из пруда.

Ответить
0

Мамкины скриптописатели.

Ответить

Комментарий удален

1

Может вам еще и ключ от квартиры, где деньги лежат? (с)

Ответить
0

Нахрен у вас там деньги лежат, про банки не в курсе что-ли?

Ответить
0

Банки нынче налоги с этого будут брать

Ответить
0

За лежание не будут. За прибыль будут, но прибыль и должна им облагаться, она же прибыль.

Ответить
0

За лежание не будут.

Ни один нормальный человек в нашей стране не будет хранить в банке больше страховой суммы 1,4 млн.

Ответить
0

Будет. Вероятность того, что накроется какой-нибудь гигант типа сбера или альфабанка сильно ниже, чем вам хату обнесут.

Ответить
0

Главное не трепаться, что у вас в той хате золотишко и все будет тип-топ.

Ответить
0

Все по-делу написал. Только про ЕСИА момент не очень здравый на мой взгляд, так как vc.ru, tj посещают и активно используют (пишут комментарии, ставят лайки и тп) не только граждане России))

Ответить
0

Можно реализовать несколько методов для верификации, не обязательно один:
- Проверка мобильного телефона с отправкой проверочного кода
- Проверка через ЕСИА
- Что-то ещё

Ответить
0

Что-то ещё

Что-то ещё уже есть — это рейтинг. И он хорошо работает.

Ответить
20

Конечно, потому что позволяет Вам накрутки делать.

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

0

что здесь происходит?

Ответить
1

У нас с ним давняя история. Все, что ты здесь видишь, это недопонимание... 

Ответить
0

Вообще его настоящее имя Барри. 

Ответить
0

Сегодня прекратил смотреть одноимённый сериал, после двух серий. Не зашло.

Ответить
0

В том, что происходит, часто мы сами виноваты.

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

0

Согласен, а то что то больно много пользователей на vc зарегистрировалось в последнее время, какие то коменты пишут и статьи. Так нельзя, даешь стофакторную авторизацию и трёх активных пользователей портала в результате.

На кого работаем? )))

Ответить
0

Дело не в регистрации.

Проблема в системе рейтинга.

Ответить
0

Вы так давно сидите на сайте, что видите все его проблемы. 

Ответить
0

Аккаунт специально левый сделан, мне не нужен пиар, проблема актуальная, если я под своим именем всё вышеперечисленное напишу, потом меня будут бомбить вопросами о том, где такой софт достать и не можешь ли ты его продать. Мне это не нужно.

P.S. Я тут еще со времён Цукерберг Позвонит так-то.

Ответить
–1

Проверка телефона я тоже считаю, что должна быть. Но лучше знаешь как. Чтобы пользователи, которые не хотят светить свой мобильный, могли также без ограничений пользоваться сайтом. НО при расчёте рейтинга и тп - учитывались голоса верифицированных пользователей с большим коэффициентом.

Ответить
–1

Полностью поддерживаю.

Ответить
0

 неестественное и ботоподобное поведение

А создание на ресурсе сериальных персонажей:
– Джейкоб
– Лже Локк
– Человек в чёрном
и ведение дискуссий между ними не является неестественным и ботоподобным поведением? В чём смысл?

Ответить
0

Больше коментов, популярнее статья, вроде как?

Ответить
0

@Джейкоб пожалуйста, прекратите накручивать рейтинг комментариев – не нужно ломать сайт, чтобы показать как это работает. Ботов в скором времени удалим.

Ответить
0

Ещё я заметил, что вчера после публикации этой статьи кто-то DDOS-атаку на VC.ru сделал. Минуту сайт был недоступен с ошибкой 502. Неужели кому-то так не хочется перемен в системе рейтинга, что он VC.ru атакует. 

+ когда регистрировал ботов заметил, что на сайте каждую секунду кто-то регистрируется, как вы боритесь с ботами кроме ручной модерации?

Джейкоб, ушёл. Больше никакой активности касательно рейтинга с моей стороны не будет, не в этом моя цель была изначально и нет такой цели в будущем.

P.S. За каждым следующим ответом последует все больше и больше вопросов.

Ответить
0

@DearMoscow пишет "Что-то ещё уже есть — это рейтинг. И он хорошо работает.", я постарался доказать обратное, что рейтинг уязвим. 

Цели ломать сайт нет. Ботов удаляйте, я своей цели достиг, обратил на это Ваше внимание и на практике показал, что система рейтинг уязвима. Почему-то многие комментаторы в это не верят, мол вранье и всё это происки конкурентов.

Ответить
0

Какой смысл всего этого? Обязать людей привязывать телефон к аккаунту, чтобы статьи не могли боты оценивать...издеваетесь? И что вы так за рейтинг цепляетесь? Если бы он у вас был 90000000, было бы легче? А если бы все статьи лежали в топе - тоже было бы легче? Или вы переживаете за то, что другие раскручивают статьями свои гавноканалы, а вас вот заминусовали? В общем на этом сайте рейтинг - бесполезное дело. И ради такой вещи не стоит вводить привязку телефона. 

Ответить

Прямой эфир