Записать и отвезти: как работает физическая передача больших объемов данных

Представьте, что вам нужно передать архив своему знакомому. И вместо того, чтобы закачать его в облако, он предлагает записать файл на съемный диск и… привезти его лично. Выглядит странно? Для нас с вами — да. А вот для предприятий физическая транспортировка данных только набирает обороты. И тому есть логическое объяснение.

Все дело в объемах этих данных. С появлением умных устройств объемы начали генерироваться сумасшедшими темпами. Недавно компания Seagate выпустила отчет «Массивные данные в движении», где коротко рассказала о перемещениях больших объемов информации. Чтобы вы понимали, насколько они велики, приведем пример.

Сегодня активно развиваются автономные транспортные средства — то есть автомобили, способные ездить без участия человека. Для того, чтобы машина умела ориентироваться в потоке и двигаться безопасно, необходимо ее обучить: собрать максимум информации о реальных дорожных ситуациях, разработать правильные алгоритмы реакции на те или иные события. Сейчас сбором такой информации занимаются исследовательские автомобили: каждый из них записывает до 150 Тбайт информации каждый день.

Более того, когда машины все-таки научатся обходиться без людей (достигнут так называемого пятого уровня автономности), каждая из них будет генерировать до 20 Тбайт информации в час! И значительную часть этих данных нужно обрабатывать — на уровне производителя этих машин, локального центра или даже города. Причем делать это максимально быстро, пока данные не потеряли актуальность.

Но автомобили — не единственный пример. Скажем, по оценке журнала Production Engineering Solutions, фабрика, на которой используется «умное» оборудование, генерирует около 5 Пбайт (петабайт, примерно 1 млн гигабайт) данных. По прогнозам специалистов в 2020 году если общий объем созданных данных составил 64 Збайт, то к 2025-му достигнет уже 180 Збайт, то есть увеличится почти в 3 раза.

Добавьте к этому огромный поток данных, который будут генерировать системы умных домов. Умными становятся даже самые банальные устройства вроде чайников — и ведь они тоже передают информацию. Большие объемы данных традиционно передают видеоустройства. Если еще 5-6 лет назад для того, чтобы организовать систему видеонаблюдения на предприятии или даже собственной даче, нужно было вызывать специалистов, покупать дорогое оборудование, протягивать кабельные соединения, то сегодня достаточно приобрести несколько IP-камер, объединить их в единую сеть и подключить к облаку.

Ради интереса просто оцените, насколько больше камер стало в вашем городе за последние годы. А ведь каждая из них — генератор значительного объема данных.

Ну и что, скажете вы, — у нас уже даже маленькие города покрыты высокоскоростными сетями, по которым данные разлетаются за минуты. Но это не совсем так. Чтобы переслать всего 1,5 Пбайт даже по гигабитному соединению, потребуется… 150 суток! То есть тот же недельный объем данных от умной фабрики можно перекачивать почти 2 месяца! Согласитесь, теперь сценарий «записать на внешний диск и привезти лично» уже не выглядит таким странным.

Большие затраты времени на передачу информации по сетям — это не просто дискомфорт. Информацию можно сравнить с пакетом молока, который имеет определенный срок годности. До истечения этого срока молоко, как и данные, можно использовать в самых разных целях — таких, каких сочтете нужными. А после истечения — ну разве что творог. Когда информация теряет актуальность, ее тоже можно разве что сохранить для архива, но для обработки она уже не годится.

Проблему пытаются решить за счет локализации дата-центров. Если раньше (еще 6-7 лет назад) они были, простите за тафтологию, централизованными, то сегодня растет спрос на периферийные системы хранения и обработки информации. Чем ближе к источнику появления этих данных находится дата-центр, тем быстрее можно будет начать ее обработку.

По прогнозам Grand View Research рынок периферийных вычислений до 2028 года будет расти в среднем на 37,4% ежегодно. А количество предприятий, которые используют централизованную модель, за следующие пару лет упадет более, чем в 2 раза — это уже прогнозы из отчета Seagate.

Но нехватка объемов все равно дает о себе знать. Согласно недавно проведенным опросам (они вошли в отчет Future-Proofing Storage) более половины представителей бизнеса сообщили, что емкость хранилищ их локальных центров обработки данных исчерпана. Одним из выходов стала как раз физическая транспортировка информации. Но, конечно, с помощью не простых жестких дисков, а целых систем хранения и транспортировки.

Современные рынок предлагает на этот счет несколько решений. Например, Lyve Data Transfer Services от Seagate — комплексная услуга по хранению и транспортировке данных, которую можно оформить по подписке (правда, в России она пока недоступна). Такие сервисы используют несколько вариантов накопителей. Lyve Mobile Shuttle — самый маленький (по объему и физическим размерам) модуль емкостью до 16 Тбайт, который можно разместить, скажем, в багажнике автомобиля.

У такого модуля есть свой 4-ядерный процессор, средства шифрования и небольшой сенсорный экранчик, так что он может работать напрямую с другими накопителями — даже подключать компьютер не придется.

В свою очередь, Lyve Mobile Array — это уже более емкое решение, которое может стать промежуточным звеном между полевыми вариантами и централизованными хранилищами. В один модуль Lyve Mobile Array (такие поддерживают

шифрование Seagate Secure AES, интерфейсы Thunderbolt 3 (40 Гбит/c), USB 3.2 (10 Гбит/c) и PCIe Gen3 можно записать до 96 Тбайт информации.

Так что, как это ни покажется странным обычному обывателю, в обозримом будущем значительная часть данных будет перемещаться по обычным физическим каналам. Возможно, именно сейчас мимо вас проезжает очередной автомобиль с внушительным накопителем в багажнике, который везет данные в ближайший дата-центр на обработку. Конечно, облака по-прежнему остаются актуальными, но объемы информации растут гораздо быстрее, чем пропускные способности каналов.

#seagate #данные #хранение_данных