{"id":14270,"url":"\/distributions\/14270\/click?bit=1&hash=a51bb85a950ab21cdf691932d23b81e76bd428323f3fda8d1e62b0843a9e5699","title":"\u041b\u044b\u0436\u0438, \u043c\u0443\u0437\u044b\u043a\u0430 \u0438 \u0410\u043b\u044c\u0444\u0430-\u0411\u0430\u043d\u043a \u2014 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0433\u043e\u0440\u0435","buttonText":"\u041d\u0430 \u043a\u0430\u043a\u043e\u0439?","imageUuid":"f84aced9-2f9d-5a50-9157-8e37d6ce1060"}

Невидимые наблюдатели

О том, почему уязвима система рейтинга порталов ИД Комитет, как ей могут манипулировать в своих интересах третьи лица и самое важное, как же решить эту проблему.

Солдаты Капитолия Голодные игры: Сойка-пересмешница. Часть 1.

Предисловие

Будучи веб-разработчиком начинаешь изучать технические нюансы работы различных систем, порталов и сайтов, невольно сталкиваешься с DDOS-атаками и со взломами, c утечками и уязвимостями, которые не всегда очевидны создателям веб-сервисов и приложений.

В 21-м веке уязвимостям подвержены мы все, DDOS-атака уже не редкость, а лишь вопрос времени, когда тот или иной конкурент начнёт Вас топить, самая настоящая война уже давно ведётся не в поле, а во всемирной паутине, что уж тут говорить о безопасности, когда сотрудник такого гиганта, как Facebook, хранит пароли своих коллег на жестком диске в своей машине.

Утечки происходят регулярно и повсеместно. От них никуда не деться, но не стоит пренебрегать борьбой с ними и их предотвращением.

В данной заметке речь пойдет о найденных мною уязвимостях в системе порталов ИД Комитет, включая VC, TJournal и DTF, которые позволяют манипулировать рейтингом публикаций, количеством их просмотров и самое ужасное влиять на выдачу на главной странице сайта.

По сути описанными ниже методами можно топить хорошие статьи конкурентов или неугодных авторов.

Я предполагаю, что ИД Комитет уже давно в курсе этой проблемы, но почему-то до сих пор технической командой не введены дополнительные меры по борьбе с такими фальсификациями касательно голосования и фиксации просмотров.

Мысль о том, что третьи лица могут с легкостью влиять на главную страницу любого портала Комитета ужасна и я считаю, что это должно быть исправлено.

Ведь каждый из нас приходит на порталы VC, TJournal или DTF, так как доверяет этим порталам, тут люди пишут интересные истории, делятся новостями и рассказывают о своём опыте, формируется digital-сообщество. Наличие подобных уязвимостей подрывает доверие к порталам и материалам, которые публикуются.

Первые мысли о наличии тайных наблюдателей на портале VC у меня возникли после прочтения двух статей клик и клак о ботах Балабанова, а ещё сильнее усугубились после того, как мои хорошие статьи почему-то необоснованно немного заминусовали в одной из категорий, хотя я раскрыл весьма актуальные вопросы в своей статье.

C точки зрения разработчика, мне стало интересно, изменилось ли что-то на технической стороне порталов за пол года, после событий описанных в статье, к сожалению, как оказалось, ничего не изменилось.

Описание уязвимости

Все сайты Комитета работают на одной платформе, это легко заметить по схожему интерфейсу и по весьма похожему внутреннему устройству, каждое действие будь-то лайк, комментарий или сохранение статьи отправляется на конечную точку через оnclick cобытия в Javasctipt коде сайта, после чего запрос на действие обрабатывается сервером. Притензий к этой части сайта у меня нет, все реализовано правильно. Так делают все.

Для толкового программиста сделать реверс-инжиниринг всех этих запросов труда особого не составит, достаточно написать программный код c подкреплением параметров cookie к каждому запросу и оформить необходимые функции.

Для удобства и простоты использования реализовать хранение сессий в файлах, но самое главное зарегать с сотню фейковых аккаунтов для продвижения публикаций, для вывода их на главную страницу сайта, хотя судя по моим наблюдениям достаточно и 15 - 20 лайков в короткий промежуток времени.

На выходе можно получить приватный API для VC.ru, залить его на GitHub и улететь на Карибы, делать кросспостинг статей или тестировать нейросеть, чем скорее всего и занимается Тинькофф со своим ботом Олегом.

Основная проблема заключается в том, что на порталах Комитета довольно просто фальсифицировать помимо прочего просмотры, лайки и сохранения публикаций.

Как решить эту проблему

Ниже будут описаны возможные решения данной проблемы и какие первостепенные меры я бы посоветовал предпринять технической команде:

  • Усложнить доступ к токену и его генерацию, не использовать что-то уж совсем банальное, как это выглядит сейчас:
X-This-Is-CSRF: THIS IS SPARTA!
  • Доступ к системе голосования должен быть усовершенствован. Необходимо ввести принудительную проверку и привязку мобильных телефонов, аналогично тому, что сделал Instagram. Один телефон на не более 5 аккаунтов, лучше всего вообще один телефон на один аккаунт. Метод довольно эффективный и поможет усложнить жизнь невидимым наблюдателям при создании ботов.
  • Метод проверки почты при регистрации не эффективен для борьбы со спамерами, так как данный процесс весьма просто автоматизировать.
  • Для защиты аккаунтов пользователей от взлома на сайте должна быть реализована опция двухфакторной авторизации.
  • Альтернативным критерием доступа к системе голосования считаю возможную реализацию связки с ЕСИА. Все таки создать большое количество учетных записей в системе Госуслуг должно вызвать трудности.
  • Введение лимитов на количество лайков или просмотров со стороны одного сеанса пользователя считаю не самой эффективной мерой, но весьма полезной. Как я понимаю, это уже реализовано.
  • В идеале логгировать действия пользователей и идентифицировать с помощью технологии фингерпринт, в частности анализировать с помощью нейросети на неестественное и ботоподобное поведение, как это сейчас весьма эффективно делает Instagram.

Если у Вас есть другие альтернативы по борьбе с данным видом фальсификаций, прошу Вас описать их в комментариях и помочь технической команде порталов Комитета решить эту проблему раз и навсегда.

C уваженем,

Джейкоб,

Mittelos Laboratories.

А Вы за честный рейтинг?
Да, я считаю это важным, зря статьи пишу что ли 
Мне все равно, это не победить
Нет, я люблю спамить и Вам меня не поймать
Показать результаты
Переголосовать
Проголосовать
0
49 комментариев
Написать комментарий...

Комментарий удален модератором

Развернуть ветку
Dear Moscow,

Да, да, да.
Джейкоб, зарегистрированный вчера, предлагает привязать аккаунт на VC к телефону и госуслугам. 

Ещё что попросите?
Фото с паспортом вам в личку сбросить? Отпечатки пальцев нужны?

Ответить
Развернуть ветку
Джейкоб
Автор

Аккаунт специально левый сделан, мне не нужен пиар, проблема актуальная, если я под своим именем всё вышеперечисленное напишу, потом меня будут бомбить вопросами о том, где такой софт достать и не можешь ли ты его продать. Мне это не нужно.

Ответить
Развернуть ветку
Dear Moscow,

Даже нынешние алгоритмы VC эту лажу вычисляют моментально: 

Ответить
Развернуть ветку
Andrew Simon

Возможно человек просто пришел от конкурентов vc ))

Ответить
Развернуть ветку
Джейкоб
Автор

Конкурентов? Вообще не к месту.

Ответить
Развернуть ветку
Andrew Simon

Вообще не аргумент.

Ответить
Развернуть ветку
Джейкоб
Автор

В чем смысл конкурентам писать подобное и раскрывать детали, когда годами можно использовать ботов на VC.ru в своих интересах и продвигать необходимые статьи?

Ответить
Развернуть ветку
Казимир Малевич

Хорошая статья, для периода короны, с его изоляциями и усложнением доступа куда бы то ни было - последствия налицо.
Похоже конкуренты vc наняли наконец то специалиста по PR-у ).

Ответить
Развернуть ветку
Джейкоб
Автор

Аххахахах. Конкуренты?

Накрутки на VC существуют, пока администрация это позволяет. Это уязвимость рейтинговой системы VC, TJournal и DTF. Она легко решается, для системы рейтинга нужно ввести новый алгоритм и запретить пользователям без публикаций, без реальной активности на сайте влиять на выдачу.

Сейчас любой бот может плюсовать/минусовать статьи. И это ужасно.

С короной это вообще никак не связано, почитайте статьи указанные в статье про боты Балабанова. 

Ответить
Развернуть ветку
Казимир Малевич

Большое количество пользователей на сайте тоже существует, пока администрация это позволяет. И зачастую их комментарии значительно интереснее статей, под которыми они написаны.
Но приходите вы, регистрируетесь на сайте и единственное что пишите, это то, что администрации не мешало бы ввести полицейский режим как можно скорее.

Ответить
Развернуть ветку
Джейкоб
Автор

Не нагнетайте.

Речь идет о банальном ограничении доступа ботов к системе рейтинга.

Ответить
Развернуть ветку
Казимир Малевич

Речь идет о снижении активности на сайте. Люди на нем живут, потому, что реально могут на что-то влиять. Система рейтинга+адекватное реагирование администрации на жалобы на vc пока лучше чем я где либо встречал. Поэтому я здесь.

Ответить
Развернуть ветку
Джейкоб
Автор

Речь идет о банальном ограничении доступа ботов к системе рейтинга у публикаций. Не нужно приплетать сюда активность на сайте, нормальных пользователей это не затронет.

На данный момент механизмов защиты от такого тут нет, использование человеческих ресурсов администрации это не лучший путь, он весьма дорогой и уже устаревший.

Посмотрите на то, как в прошлом году с этим в одночасье расправился Instagram, разом положив все сервисы массфоловинга и масслайкинга, а потом и масслукинга. 

Если оставить все это без внимания, то сайт потеряет доверие хороших авторов и пользователей.

Ответить
Развернуть ветку
Казимир Малевич

Нормальные пользователи, это люди создающие контент. И их количество при драконовских мерах упадете.

Сайт дает людям равные права, поэтому механизмов защиты вагон. Не нравиться что какая то контора лайкает свою статью с доп аккаунтов? Регистрируйте свои и дизлайкайте эту статью с них. Можете задизлайкать ботов и тогда они уже не смогут никого оценивать.

По поводу хороших авторов, задизлайканные статьи не пропадают втуне, я регулярно просматриваю рубрики и ни разу за все время не встретил ни одной слитой достойной статьи. Зато всякий мусор активно вычищают сами пользователи.

Ответить
Развернуть ветку
Denis Shiryaev

Привет, спасибо за предложения мы обсудим их с командой.

Накручивать рейтинг статьи, чтобы показать нам уязвимость не стоит, мы дополнительно проверяем все, что попадает аномально в популярное.

Помимо этого уже идет разработка нового алгоритма, который постепенно будет внедрятся после тестов. 

Ответить
Развернуть ветку
Казимир Малевич

ИМХО единственное, что стоит изменить, так это отнимать возможность минусить статьи и других пользователей у аккаунтов, не написавших ни одного комментария либо статьи за последние два месяца. Хочешь оценивать других - напиши хоть что то)

Как мне показалось очень немало погоды делают аккаунты с парой комментариев, написанных пару лет назад. Боясь, что их заминусят они не пишут ничего нового, не привнося никакого нового текстового контента, но зато по полной распоряжаясь рейтингами тех, кто этот контент на сайте создает.

Ответить
Развернуть ветку
Джейкоб
Автор

Это вероятно требует от Вас довольно много операционки (постоянного мониторинга) и не всегда подобное можно легко сразу отследить. Всё таки хотелось бы видеть честный рейтинг, даже несмотря на то, что от фейк ньюс сейчас никто тоже не защищён.

Ведь статьи многие пишут стараясь, а имея ботов какой-нибудь троль может повлиять на хороший материал и автор увидев, что его материал заминусовали весьма необоснованно уйдет на другой портал.

Ответить
Развернуть ветку
Казимир Малевич

Хотелось бы видеть хорошие и интересные статьи, высокую посещаемость интеллект у комментирующих и активную атмосферу.

По поводу ботов - плюс в том, что любой может наплодить себе такое же количество ботов и продвинуть свою статью). Если компания, выпускающая статью готова тратить свое время на поддержание кучи акков, написание коментов, повышение активности на сайте, это прекрасно!

Достоинсво vc в значительно больших по сравнению с многими конкурентами свободе и равноправии участников, но всегда найдется кто-то кому такая свобода спать не дает))

Ответить
Развернуть ветку
Джейкоб
Автор

Чем больше лжешь, тем легче тебе это дается.

Ответить
Развернуть ветку
Казимир Малевич

Без труда не вытащишь и рыбку из пруда.

Ответить
Развернуть ветку
Petr Sergeev

Мамкины скриптописатели.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Василий Степанов

Может вам еще и ключ от квартиры, где деньги лежат? (с)

Ответить
Развернуть ветку
Petr Sergeev

Нахрен у вас там деньги лежат, про банки не в курсе что-ли?

Ответить
Развернуть ветку
Василий Степанов

Банки нынче налоги с этого будут брать

Ответить
Развернуть ветку
Petr Sergeev

За лежание не будут. За прибыль будут, но прибыль и должна им облагаться, она же прибыль.

Ответить
Развернуть ветку
Василий Степанов
За лежание не будут.

Ни один нормальный человек в нашей стране не будет хранить в банке больше страховой суммы 1,4 млн.

Ответить
Развернуть ветку
Petr Sergeev

Будет. Вероятность того, что накроется какой-нибудь гигант типа сбера или альфабанка сильно ниже, чем вам хату обнесут.

Ответить
Развернуть ветку
Василий Степанов

Главное не трепаться, что у вас в той хате золотишко и все будет тип-топ.

Ответить
Развернуть ветку
Egor

Все по-делу написал. Только про ЕСИА момент не очень здравый на мой взгляд, так как vc.ru, tj посещают и активно используют (пишут комментарии, ставят лайки и тп) не только граждане России))

Ответить
Развернуть ветку
Джейкоб
Автор

Можно реализовать несколько методов для верификации, не обязательно один:
- Проверка мобильного телефона с отправкой проверочного кода
- Проверка через ЕСИА
- Что-то ещё

Ответить
Развернуть ветку
Dear Moscow,
Что-то ещё

Что-то ещё уже есть — это рейтинг. И он хорошо работает.

Ответить
Развернуть ветку
Джейкоб
Автор

Конечно, потому что позволяет Вам накрутки делать.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Pixel Lens

что здесь происходит?

Ответить
Развернуть ветку
Джейкоб
Автор

У нас с ним давняя история. Все, что ты здесь видишь, это недопонимание... 

Ответить
Развернуть ветку
Джейкоб
Автор

Вообще его настоящее имя Барри. 

Ответить
Развернуть ветку
Pixel Lens

Сегодня прекратил смотреть одноимённый сериал, после двух серий. Не зашло.

Ответить
Развернуть ветку
Джейкоб
Автор

В том, что происходит, часто мы сами виноваты.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Andrew Simon

Согласен, а то что то больно много пользователей на vc зарегистрировалось в последнее время, какие то коменты пишут и статьи. Так нельзя, даешь стофакторную авторизацию и трёх активных пользователей портала в результате.

На кого работаем? )))

Ответить
Развернуть ветку
Джейкоб
Автор

Дело не в регистрации.

Проблема в системе рейтинга.

Ответить
Развернуть ветку
Andrew Simon

Вы так давно сидите на сайте, что видите все его проблемы. 

Ответить
Развернуть ветку
Джейкоб
Автор

Аккаунт специально левый сделан, мне не нужен пиар, проблема актуальная, если я под своим именем всё вышеперечисленное напишу, потом меня будут бомбить вопросами о том, где такой софт достать и не можешь ли ты его продать. Мне это не нужно.

P.S. Я тут еще со времён Цукерберг Позвонит так-то.

Ответить
Развернуть ветку
Egor

Проверка телефона я тоже считаю, что должна быть. Но лучше знаешь как. Чтобы пользователи, которые не хотят светить свой мобильный, могли также без ограничений пользоваться сайтом. НО при расчёте рейтинга и тп - учитывались голоса верифицированных пользователей с большим коэффициентом.

Ответить
Развернуть ветку
Джейкоб
Автор

Полностью поддерживаю.

Ответить
Развернуть ветку
Алексис Второй
 неестественное и ботоподобное поведение

А создание на ресурсе сериальных персонажей:
– Джейкоб
– Лже Локк
– Человек в чёрном
и ведение дискуссий между ними не является неестественным и ботоподобным поведением? В чём смысл?

Ответить
Развернуть ветку
Andrew Simon

Больше коментов, популярнее статья, вроде как?

Ответить
Развернуть ветку
Denis Shiryaev

@Джейкоб пожалуйста, прекратите накручивать рейтинг комментариев – не нужно ломать сайт, чтобы показать как это работает. Ботов в скором времени удалим.

Ответить
Развернуть ветку
Джейкоб
Автор

Ещё я заметил, что вчера после публикации этой статьи кто-то DDOS-атаку на VC.ru сделал. Минуту сайт был недоступен с ошибкой 502. Неужели кому-то так не хочется перемен в системе рейтинга, что он VC.ru атакует. 

+ когда регистрировал ботов заметил, что на сайте каждую секунду кто-то регистрируется, как вы боритесь с ботами кроме ручной модерации?

Джейкоб, ушёл. Больше никакой активности касательно рейтинга с моей стороны не будет, не в этом моя цель была изначально и нет такой цели в будущем.

P.S. За каждым следующим ответом последует все больше и больше вопросов.

Ответить
Развернуть ветку
Джейкоб
Автор

@DearMoscow пишет "Что-то ещё уже есть — это рейтинг. И он хорошо работает.", я постарался доказать обратное, что рейтинг уязвим. 

Цели ломать сайт нет. Ботов удаляйте, я своей цели достиг, обратил на это Ваше внимание и на практике показал, что система рейтинг уязвима. Почему-то многие комментаторы в это не верят, мол вранье и всё это происки конкурентов.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
46 комментариев
Раскрывать всегда