Оффтоп Andrey Frolov
18 421

Сервис для хранения кода GitLab случайно удалил почти 300 ГБ данных из-за ошибки сисадмина

Сервис для хранения кода GitLab оказался недоступен для пользователей с вечера 31 января после того, как системный администратор компании случайно стёр около 300 ГБ из базы данных компании. Об этом пишет The Register.

Из-за ошибки оказалась стёрта база, в которой содержались запросы на изменение документации и кода проектов пользователей, при этом их репозитории (хранилища) остались нетронутыми. Вскоре после инцидента представители GitLab стали публиковать всю информацию о восстановлении базы.

Сисадмин из Нидерландов, из-за которого возникла проблема, занимался копированием базы с одного сервера на другой и по ошибке запустил удаление данных с основного сервера. Когда этот процесс был остановлен, нетронутыми осталось только 4,5 ГБ данных.

В GitLab отметили, что в этом случае не помогла ни одна из пяти существующих в компании систем для хранения бэкапов: например, в одном из случаев процедура сохранения данных срабатывала с ошибкой, из-за чего бэкап не создавался. Представители сервиса заметили, что у них не было системы оповещения об ошибках при создании бэкапов.

В распоряжении GitLab оказался один из бэкапов, созданный вручную примерно за шесть часов до инцидента, и теперь компания восстанавливает данные с его помощью.

GitLab создана в 2014 году украинским предпринимателем Дмитрием Запорожцем, штаб-квартира компании расположена в Сан-Франциско. По данным CrunchBase, за всё время существования она привлекла около $25,6 млн.

GitLab конкурирует с другими платформами, такими как GitHub и Atlassian, однако у неё есть дополнительное преимущество — она бесплатно распространяет свои инструменты для хранения кода, что позволяет другим организациям построить собственные репозитории на основе систем GitLab, добавив необходимые для себя функции, отмечает TechCrunch.

#новость #GitLab

{ "author_name": "Andrey Frolov", "author_type": "editor", "tags": ["\u043d\u043e\u0432\u043e\u0441\u0442\u044c","\u043d\u043e\u0432\u043e\u0441\u0442\u0438","gitlab"], "comments": 36, "likes": 27, "favorites": 1, "is_advertisement": false, "subsite_label": "flood", "id": 21683, "is_wide": true }
00
дни
00
часы
00
мин
00
сек
(function(){ var banner = document.querySelector('.teaserSberbank'); var isAdsDisabled = document.querySelector('noad'); if (!isAdsDisabled){ var countdownTimer = null; var timerItem = document.querySelectorAll('[data-sber-timer]'); var seconds = parseInt('15388' + '59599') - now(); function now(){ return Math.round(new Date().getTime()/1000.0); } function timer() { var days = Math.floor(seconds / 24 / 60 / 60); var hoursLeft = Math.floor((seconds) - (days * 86400)); var hours = Math.floor(hoursLeft / 3600); var minutesLeft = Math.floor((hoursLeft) - (hours * 3600)); var minutes = Math.floor(minutesLeft / 60); var remainingSeconds = seconds % 60; if (days < 10) days = '0' + days; if (hours < 10) hours = '0' + hours; if (minutes < 10) minutes = '0' + minutes; if (remainingSeconds < 10) remainingSeconds = '0' + remainingSeconds; if (seconds <= 0) { clearInterval(countdownTimer); } else { timerItem[0].textContent = days; timerItem[1].textContent = hours; timerItem[2].textContent = minutes; timerItem[3].textContent = remainingSeconds; seconds -= 1; } } timer(); countdownTimer = setInterval(timer, 1000); } else { banner.style.display = 'none'; } })();
{ "id": 21683, "author_id": 14066, "diff_limit": 1000, "urls": {"diff":"\/comments\/21683\/get","add":"\/comments\/21683\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/21683"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

36 комментариев 36 комм.

Популярные

По порядку

Написать комментарий...
48

По-любому просто бутылку текилы случайно поставил на кнопку Delete, если вы понимаете о чём я...

Ответить
7

и случайно сел на нее

Ответить
0

Такая же мысль возникла )))

Ответить
0

Дудочник же :)

Ответить
0

У меня на работе была такая же ситуация. Работал с банковским проектом, поэтому весь код писался через TeamViewer. Однажды я офигел, когда мой код начал резко удалятся во всех файлах. Пол часа не мог понять в чем проблема, а оказалось в серверной на клавиатуру что-то упало :D

Ответить
26

Представляю лицо этого сисадмина, когда удаление закончилось )

Ответить
10

Сисадмина кастрировали?

Ответить
39

Начать надо с CIO. Потому что: "у них не было системы оповещения об ошибках при создании бэкапов".

Ответить
16

Данные просрал не сисадмин (которого у GitLab просто нету), а разработчик ПО, который понятия не имеет о таких вещах как "отказоустойчивость", "кластеризация" и другие страшные, но очень полезные слова.
Оригинал: https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub

VC в своем репертуаре. Слышу звон, не знаю где он.

Ответить
0

А у них разве не DevOps?

Ответить
2

Именно он. И в данном, конкретном случае, он показал себя во всей красе. DevOps, в отличии от ITIL\SM отличается как раз тем, что в первую очередь он направлен на "удобное" взаимодействие внутри команды и стремится сделать работу быстро (не значит качественно).
Проблема DevOps как раз в том, что каждый Java-программист считает себя сервисменеджером, таковым не являясь.

Ответить
0

upd:
Например "Java-программист". Ничего не имею против них :)

Ответить
0

CIO виноват :-)
Не был правильно построен процесс тестирования софта.
Не проверяли такие кейсы.
Не было стресс тестов :-)

Ответить
17

Ну и классика

Ответить

Комментарий удален

7

Ответственный за бэкапы в GitLab

Ответить
3

Сколько раз уже говорилось, что все эти ваши бекапы бесполезны без проверенного механизма их восстановления.

Ответить
13

Бесполезны люди которые не умеют с ними работать. Бэкапы нормально работают.

Ответить
5

После прочтения перепроверил все у себя.

Ответить
4

Ни одна из пяти, Карол

Ответить
4

Реально сижу и жду

Ответить
3

Пусть напишут Дропбоксам, они восстановят.

Ответить
3

GitHub(пока не запрещённая в России организация )взяла на себя ответственность за данный инцидент

Ответить
2

Удалил не сисадмин, а разработчик ПО. Откуда разрабу известны такие вещи как "отказоустойчивость", "кластеризация", "эвенталерты" и другие страшные, но полезные слова.

Оригинал: https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub

Ответить
2

люди делятся на 3 типа:
кто еще не делает бэкапы
кто их уже делает
и те, кто их действительно уже делает.

Ответить
2
Ответить

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

0

Кому интересен Live - https://www.youtube.com/watch?v=nc0hPGerSd4

Ответить
0

Пока можно помедитировать на то, как его поднимают.

Ответить
0

ошибка была совершена на фоне усталости, это всем кто выше пишет что инцидент произошел только потому что работу работал DevOps/разработчик, якобы ничего не знающий о "кластеризации" (при чем тут кластеризация, вообще непонятно)

Ответить
0

спонсор ошибки админа github

Ответить
0

И отличия Российского и Европейского менталитета во всей красе.
Ну либо второе сарказм)))

Ответить
0

Дешёвый пиар никому не нужного сервиса, когда есть битбакет и гитхаб.

Небось ничего и не роняли, а тянули пивко - твитя и стримя на ютубе.

5 систем бэкапов не сработало, а что не 10.

Ответить
0

Слабое понимание отличий между тремя перечисленными сервисами.

Ответить
0

GitLab хорош для организации качественного сервера корпоративных репов на своем сервере. В легкости интеграции ему пока равных нет. Хорошая поддержка и регулярные обновления.

Из минусов, слишком тормознутая "вебморда", напрягает работа с большим количеством репов и их веток. А админ, "засланный казачок" от конкурентов )))

Ответить
0

Sid: try to undelete files?
CW: Not possible! `rm -Rvf` Sid: OK
=)))))
YP thinks that perhaps pg_basebackup is being super pedantic about there being an empty data directory, decides to remove the directory. After a second or two he notices he ran it on db1.cluster.gitlab.com, instead of db2.cluster.gitlab.com
2017/01/31 23:27 YP - terminates the removal, but it’s too late. Of around 310 GB only about 4.5 GB is left...

=))))
Упс, удалил с мастера а не со слейва.

Ответить
0

Прочитал как GitHub :)

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Хакеры смогли обойти двухфакторную
авторизацию с помощью уговоров
Подписаться на push-уведомления