«ВКонтакте» рассказала о причинах и последствиях сбоя с демонстрацией администраторских инструментов пользователям Статьи редакции
Команда «ВКонтакте» объяснила причины сбоя, в результате которого пользователи получили доступ к панели администраторских функций, а также рассказала о последствиях случившегося. Объяснение опубликовано в блоге компании на «Хабрахабре».
Сбой в работе «ВКонтакте» произошёл в ночь на 21 марта. Причиной стал «фатально невнимательный merge (слив — прим.ред.) ветки», в которой переделывали один из внутренних интерфейсов, объяснили в соцсети.
«В результате любой пользователь стал считаться сотрудником. В некоторых случаях — сотрудником со всеми существующими правами», — говорится в блоге «ВКонтакте». По собственным данным компании, ежемесячная аудитория соцсети превышает 95 млн пользователей.
В компании подчеркнули, что полного набора прав администратора никто из пользователей не получил, поскольку ни для одного из сотрудников соцсети такого комплекта не предусмотрено.
Мы разделяем уровни ответственности да и работать с таким интерфейсом было бы неудобно. Есть люди, которые проверяют заявки на добавление вузов, есть переводчики, есть агенты поддержки и модераторы жалоб — у каждого отдела свой набор полномочий. Доступ к правам любого уровня сотрудник получает после подписания NDA. Все без исключения действия логируются. За применение магии вне Хогвартса предусмотрен огромный штраф (и перспектива судебного разбирательства).
По словам представителей «ВКонтакте», у пользователей был доступ к инструментам администраторов «всего четыре минуты», после чего сайт вышел из строя из-за «такого количества новых сотрудников».
За это время пользователи, по словам представителей соцсети, успели следующее:
- удалить с десяток сообществ и записей, один профиль, несколько фотографий и видеозаписей;
- заблокировать одно приложение;
- пополнить рекламный бюджет четырёх кабинетов;
- загрузить картинку с кроликами в FAQ службы поддержки;
- почитать мануал спам-аналитиков, после чего компания получила несколько просьб рассмотреть кандидатуру на эту должность;
- заложить несколько новых городов в географической базе;
- создать кучу заявок в публичном баг-трекере и проставить им статусы.
Публичный доступ к баг-трекеру по-прежнему закрыт «для наведения порядка». «Ему досталось больше остальных», — отметили во «ВКонтакте».
В соцсети утверждают, что пользователям не удалось изучить персональные данные других людей. «Дополнительные проверки доступа к sensitive data работали, и посмотреть чужой IP-адрес или номер телефона никто не смог», — утверждают в компании.
Представители «ВКонтакте» подчеркнули, что ни у кого из администраторов соцсети нет прав, которые бы позволили в личных целях посмотреть приватную фотографию или прочитать сообщение пользователя.
Мы предпочитаем не проверять своих сотрудников на прочность, поэтому такой возможности нет даже в теории. Кроме того, действия с правами видны всем коллегам — забанить тайком соседа-скандалиста тоже не выйдет.
Есть автоматика для удаления разного рода спама из любых разделов сайта, включая рассылки в личных сообщениях. Это сложная система, которую в режиме 24/7 корректируют наши аналитики. Она напоминает фильтр нецензурных выражений, который есть на любом приличном форуме, только всё гораздо мощнее и в реалтайме адаптируется под тренды спамеров.
Ещё есть отдельные жалобы самих пользователей на любой доступный им контент. Если Вы прислали другу фишинговую ссылку, а друг на неё пожаловался, модератор увидит сообщение с этой ссылкой в жалобе. И только его. Более того, невозможно предугадать, к кому из модераторов оно попадёт: жалобы распределяются рандомно среди десятка сотрудников на смене.
Примерно так же дело обстоит с приватными фотографиями — кнопка со страшным названием «Открыть приватные фото» работает только с точной ссылкой, которую предоставляет сам владелец фотографии — например, для восстановления доступа к аккаунту, на котором нет публичных снимков с его хозяином, или автор жалобы на пресловутое детское порно. Сотрудник не может открыть таким способом произвольный снимок с хоть какой-нибудь приватностью.
После устранения ошибки сотрудники «ВКонтакте» отменили совершённые пользователями от имени администраторов действия и начали изучать логи, чтобы выяснить, была ли утечка персональных данных.
«Мы не могли проверить это мгновенно, поэтому запустили уничтожение автоматикой всех подряд скриншотов интерфейса, чтобы сдержать возможный слив sensitive data. Как только стало достоверно известно, что утечки нет, выпиливание скриншотов остановили», — объяснили в соцсети.
В компании добавили, что также разработали меры защиты от таких ситуаций в будущем, но их детали не раскрыли.
"кнопка со страшным названием «Открыть приватные фото» работает только с точной ссылкой, которую предоставляет сам владелец фотографии. Сотрудник не может открыть таким способом произвольный снимок с хоть какой-нибудь приватностью."
"В компании добавили, что также разработали меры защиты от таких ситуаций в будущем, но их детали не раскрыли."
У нас есть ТАКИЕ приборы! Но мы вам о них не расскажем.
Аквалангисты - это не игра!
Мы белые пушистые, ну ну.
что-то долго они там соображали, как же SMM и все такое?
Криворуких разработчиков за такое точно увольнять нужно, тестирование нормальные программисты ведут на демо версии.
Надеюсь руководство поменяют полностью после такого.
Все у них норм с тестовой версией, писали же, что был случайный мердж с публичной. Не буду говорить про криворуких сотрудников (хотя убыток вроде никакой, потому что - будет урок на аккуратность), но вот при чем тут руководители я вообще не понял
Не знаю что и где писали конкретно по этой проблеме, но однажды слушал подкасты про разработку и там выступал сотрудник ВК. Он прямым текстом говорил, что все сразу льется в продакшн и особого ревью или юнит тестов нет.
В booking.com делают так же. И ничего, живут, растут. И никак это не портит их репутацию.
Это вообще распространённая схема. Когда счет комиттов в сутки идёт на сотни, тестировать каждый заколебешься. Делаются самые простые юнит тесты и в прод.
На продакшене часто вылезают баги, которые проявляются в редких случаях, которые сложно отловить при тестах. Главное - вываливать частями - сначала на небольшой процент, потом больше и т.д. Если все плохо, то делается откат
Все же про букинг интересно и деплой на продакшн, но есть в практике, а особенно в ролевой распределительной системы тестирование критически важного фукционала.
Ну есть такое на проектах - это когда простой автотест проверяет что юзеру X Не доступна в интерфейсе (и в http попытках) та или иная фича.
Такой тест пишется один раз после создания такой фичи. CI перед раскаткай по нему особенно громко кричит если там не так.
Что там было никто конечно не скажет, но это не фича а баг.
Обидно, что корпорации не учат основам своих специалистов, хотя это их грабли и удачи им в их профессиональном росте.
Т.е. репутация по вашему не страдает из-за багов, утечек данных и прочего :)))
ты гд еи кем работаешь? эксперт по кадровым перестановкам и репутационным рискам
Мне вот тоже интересно. Умник какой-то. По его словам так их чуть ли не расстрелять надо. Сам то нибусь и не представляет что такое разработка подобных проектов.
С его комента ниже вообще ору.
Комментарий недоступен
Зарплату выплатили всем новым сотрудникам?
Комментарий удален модератором
Те, кто не понимает слова merge, не поймут и "слив"
Почему бы не написать "объединение"?