{"id":7297,"title":"\u0417\u0430\u043a\u0430\u0442\u0438\u043b\u0438 \u0432\u0435\u0447\u0435\u0440\u0438\u043d\u043a\u0443 vc.ru. \u0420\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c, \u043a\u0430\u043a \u044d\u0442\u043e \u0431\u044b\u043b\u043e","url":"\/redirect?component=advertising&id=7297&url=https:\/\/vc.ru\/promo\/300923-proveli-vecherinku-vc-ru-i-sdelali-ofis-uyutney-s-pomoshchyu-novogo-servisa-ot-ozon&placeBit=1&hash=1786c9dcf11a3b054c8e53004e27074664313ed4055e24064ede059ebc186db8","isPaidAndBannersEnabled":false}
Крипто
Yana Strokova

Децентрализованные вычисления на основе технологии блокчейн — новое поколение облачных сервисов

Несмотря на широкое распространение крупных облачных платформ и ежегодно-снижающуюся стоимость на облачные вычисления, они всё ещё остаются централизованными с точки зрения управления. А это несёт за собой целый ряд вопросов: от приватности данных и защищенности централизованных серверов от взлома, до зависимости от корпорации, которая в любой момент может указать вам на дверь или просто перекрыть кислород. Поэтому сейчас как никогда актуальна идея реализации данной технологии путём объединения свободных вычислительных мощностей рядовых интернет-пользователей и профессиональных майнеров.

История

Попытки создания сетей для децентрализованных вычислений предпринимались ещё в 70-х годах прошлого века. Никакой глобальности: объединялись максимум несколько десятков компьютеров в рамках локальной сети. Их использовали для решения сложных математических задач, которые были не по зубам процессорам того времени. О хранении данных, дистрибуции контента и более сложных функции сетей в ту пору даже не задумывались.

В 90-е годы бурное развитие интернета существенно расширило возможности построения сетей. Начали организовываться более серьёзные проекты. Большинство — для решения конкретных задач, часто разовых.
Типичные примеры сетей того времени:
— SEMI@home — сеть энтузиастов в области поиска сигналов внеземных цивилизаций;
— GIMPS — сеть по определению простых чисел Мерсенна;
— distributed.net — сеть конкурсных вычислений под разные, как правило некоммерческие задачи.

Участники сетей подобного типа предоставляли свои мощности фактически безвозмездно: небольшое количество грантов и призов, полученных несколькими конкурсантами, не идёт ни в какое сравнение с общими затратами на проведение вычислений.

Теория

В изначально правильной модели существовала одна проблема, которая крылась в самой теории развития сетей. «Сначала мы научимся вычислять,
а потом поймём, как на этом заработать», – рассуждали первопроходцы.
Увы, основатели таких проектов оказались никудышными коммерсантами. Да ещё вдобавок медленный и дорогой интернет 90-х и начала нулевых неизбежно приводил к проблемам масштабирования.

Итак, владельцам мощностей, как правило, не платили. А если и платили – то за уже фактически выполненные вычисления. В итоге все проекты заканчивались примерно одинаково: отсутствие загрузки на больших участках сети снижало доходность её участников. Те, в свою очередь, теряли интерес и уходили.

В базовом виде подобным сетям не хватало ряда ключевых элементов:
— большой и быстрорастущей клиентской базы, запросов на вычисления;
— готовых наборов утилит для клиентов;
— готовых легкоинтегрируемых решений для новых участников сети;
— маркетинга в чистом виде;
— бесконечной задачи, на которую нужны фактически все ресурсы сети при полной круглосуточной загрузке;
— легкой и понятной участникам сети формы взаиморасчетов.

Экономическая модель сети проста: одним нужна загрузка для их ресурсов – за соответствующую оплату. Другим — недорогие вычисления с широкой, устойчивой сетью, обладающей большим набором утилит.

Если с, условно говоря, «заказчиками», всё относительно ясно, то перед «исполнителями» сразу же встаёт ряд вопросов: чем платить — в начале
и в процессе, как загружать их мощности, каким образом определять объём проведённых операций и т.д.

Применение

Область применения данных технологий настолько широка, что рассуждать об этом можно бесконечно. При этом одной из основных особенностей такой сети является многообразие вычислительных мощностей:

— мобильные устройства с установленным сетевым приложением;

— старый домашний компьютер на *nix;

— современная майнинговая ферма;

— свободные серверные мощности небольших компаний и дата-центров;

— умные устройства, бортовые компьютеры транспортных средств и многое другое.

Нейросети

Широкий набор различных устройств даёт возможность не только построить нейросеть, но и использовать для её обучения данные, которые этими устройствами обрабатываются. А создание утилиты, через которую клиенты смогут формировать свои нейросети или обращаться с запросом в уже действующие, позволит решить и сложные аналитические задачи, и вопросы глубокого машинного обучения:

— экономический анализ;

— маркетинговый анализ;

— предиктивный анализ;

— поведенческий анализ;

— решение и формирование исследовательский алгоритмов;

— управление беспилотниками и их обучение;

— оценка и улучшение качества производства.

Для выполнения этих и сотен других задач нужна не заранее заданная программная схема, работающая циклично или выполняющая новые циклы по мере обновления, а саморазвивающаяся экосистема, способная выйти далеко за рамки ограниченной логики восприятия и самого создателя нейросети, и утилитарного агента.

Вычисления

Процессоры большой мощности и оперативная обработка данных — дорогое удовольствие. Простейшие сервера, способные поддерживать корпоративную систему документооборота на 200 пользователей, стоят
по 250-400 долларов США в месяц. При этом для их настройки
и обслуживания придётся нанимать сотрудника или аутсорсинговую компанию. Если же сервер предоставляется в комплекте SaaS, то подобное решение обойдётся примерно в 10 долларов за пользователя.
А это – уже 2000 долларов в месяц.

В крупных компаниях с большим объёмом математических задач, где каждый проведенный через систему документ влечёт за собой записи и пересчёты
в сотнях и тысячах других документов, затраты на серверные мощности достигают десятков тысяч долларов в месяц. При этом скорость работы падает диспропорционально увеличению мощности. Таким образом, добавление аналогичного сервера не приводит к такой же скорости работы ещё 200 пользователей: не позволяют возможности сети, неоптимизированность приложений,цй параметры репликации данных
и многое другое.

Распределённые вычисления способны решить скейлабилити-задачу именно по принципу «чем больше – тем быстрее». И за гораздо меньшие деньги!

В распределённой сети утилиты, отвечающие за постановку CPU-задач, способны поднимать скейл участников сети, на которых приходятся пиковые нагрузки. Поэтому клиент не чувствует снижения скорости. А в моменты снижения нагрузки на сеть для проведения операции можно использовать мощность единственного участника.

Хранение данных

Коммерческие облачные сервисы идеально – недорого и легко масштабируемо – решают проблему хранения открытых данных. В том же AWS S3 не существует привязки к изначальным параметрам дискового пространства: вы используете всё доступное дисковое пространство
и платите за запросы.

С одной стороны, вопрос хранения статических данных и контента облака решили. С другой – доступные решения слишком централизованы и не обладают достаточной гибкостью в плане репликации и распределения зон их хранения. Из-за этого усложняется как загрузка, так и доставка контента.
А о контроле версий в такого рода хранилищах вообще стоит поговорить отдельно (см. Дистрибуция контента).

Если со статикой и контентом всё более-менее понятно, то с приватными данными вопросов очень много. Дело в том, что базы данных абсолютного большинства коммерческих облачных сервисов – централизованные,
т.е. по умолчанию вы поднимаете сервер или утилиту в которой определяете дисковое пространство и разворачиваете СУБД.
Проблема централизованного хранения, даже если вы используете две СУБД с разной степенью доступа, заключается в недостаточной глубине шифрования данных. Безусловно для взлома хорошо защищённой базы данных злоумышленнику придётся повозиться. Зато в случае успеха
он получает полный доступ к данным.

Децентрализованная сеть позволяет использовать контейнерный тип хранения по кластерам. Каждый из контейнеров объединён цепочкой
в блокчейне, поэтому доступ к информации сможет подтвердить только владелец ключа.

Криптографическая защита в сочетании с методом небулятивного перемещения информации делают взлом практически невозможным: данные, находящиеся в цепочке, просто рассыплются в руках злоумышленника, если он попытается извлечь их путём снифферинга
или брутофорса.

Целостность данных обеспечивается небулятивной репликацией: каждая база данные дробится на контейнеры (дасты), копии которых распространяются по Небуле в узлы с позитивной историей мониторинговой активности. Проблемы со скоростью решает геооптимизированное размещение дастов: запись и чтение целевых данных производится
в регионах, в которых эта информация используется чаще всего.

Дистрибуция контента

Важнейшие показатели дистрибуции контента — скорость и скейлабильность. Главные проблемы — так называемая Последняя миля, а также загруженность узлов крупных провайдеров при пиковых нагрузках. Предиктивные модели распространения контента по сети такими провайдерами используются довольно слабо, вместо них применяют модель «По запросу»: если запрос на контент Х прошёл в каком-либо узле сети,
то этот узел сохраняет такой контент для дистрибуции.

Использование предиктивной модели, в свою очередь, подразумевает анализ истории запросов и распределение контента на основе предполагаемых запросов на новый и старый контент. Если из Х следует запрос
на появившийся Y, то Y будет распространён по узлам до повышения нагрузки.
В итоге контент распределяется в период начала его появления, не нагружая ни основные узлы, ни Последнюю милю. В пиковые моменты основные узлы будут свободны для выполнения приоритетных задач, а дистрибуция будет вестись из Последней мили, в классическом понимании — из локальной сети провайдера в округе, городе, районе или секторе.

Где блокчейн?

Применение блокчейна, состоящего как минимум из двух уровней,
так сказать квадратной структуры — B², просто необходимос в подобной сети.

С одной стороные токенизация доступа в блокчейне позволит обеспечить безопасность данных, с другой стороны собственная криптовалюта в такой сети позволит платить владельцам мощностей — майнерам.

Продолжение следует

Я решила разделить статью на несколько частей, чтобы не утомить вас лонгридом. В следующих статьях мы рассмотрим технологии подробнее, оценим методы защиты данных в таких сетях, организацию сетей
и блокчейна и многое другое.

А пока ждёте следующую статью: пройдите небольшой опрос и напишите комментарий, что вы думаете о развитии таких технологий.

В чем основная проблема организации децентрализованных добровольных вычислений?
Сложность интеграции разных вычислительных мощностей
Низкая скорость сети
Другое
Оценка выполненной работы и соизмеримой оплата
Недоверие пользователей, владельцев данных
Безопасность данных
Показать результаты
Переголосовать
Проголосовать
{ "author_name": "Yana Strokova", "author_type": "self", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438","\u0434\u0435\u0446\u0435\u043d\u0442\u0440\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f","\u0431\u043b\u043e\u043a\u0447\u0435\u0439\u043d","cloud","blockchain"], "comments": 10, "likes": 54, "favorites": 17, "is_advertisement": false, "subsite_label": "crypto", "id": 32666, "is_wide": true, "is_ugc": true, "date": "Fri, 02 Feb 2018 03:49:12 +0300", "is_special": false }
0
10 комментариев
Популярные
По порядку
Написать комментарий...

Как вы пишите "Процессоры большой мощности и оперативная обработка данных — дорогое удовольствие" , но по мне это самый оптимальный вариант на 2018 год

2

считаю 2018 год, годом криптовалют))

0

Год заката криптовалют? или подъема? Начинается-то он с обвала курса.

0

я думаю это только начало)

0

Криптосадик

0

Комментарий удален

wat za fak am reading?

1

Из статьи я почерпнул ничего. Слово "небулятивный" отправлено в парижскую палату мер и весов.

0

скейлабильность

Есть в русском языке такое слово - масштабируемость.
скейл участников сети

масштаб...

0

Ну пасиб за интересную инфу

0

Спасибо, что постеснялись напрямую написать "ИИ на основе блокчейна", а только написали популяризаторский бред про распределенные нейросети...

0

Комментарий удален

Читать все 10 комментариев
Будущее наступит во вторник на OneRetailConf
«Ситидрайв» выставил штраф в семь тысяч за свой поломанный Smart

Люблю каршеринг всей душой, даже если дорого и даже если Smart. История такая: в пт (15.10.21) вечером арендовала у «Ситидрайва» на сутки Smart м267но799 (других авто рядом не было), чтобы съездить в Конаково к бабушке.

«Российский рынок акций был и остаётся одним из самых привлекательных в мире»

Виталий Исаков, директор по инвестициям УК «Открытие» («Открытие Инвестиции»).

Netflix оценил выгоду от «Игры в кальмара» почти в $900 млн Статьи редакции

В 40 раз больше суммы, которую онлайн-кинотеатр заплатил за сериал.

Как мы запустили MVP, получили первые продажи за 1,5 месяца и сэкономили 1 млн рублей

Рассказываем, как команда Minisol за 1,5 месяца помогла клиенту превратить идею в перспективный стартап и сколько стоил каждый этап.

Объявлены победители Finlanding
«Типографика в будущем»: дизайнер описывает, как дизайн и шрифты показывают футуризм в научной фантастике Статьи редакции

Разбирает «Валли», «Бегущего по лезвию» и другие фильмы, показывает, как создать свой шрифт «из будущего».

Ozon отклоняет документы на бренд юридически немотивированно

Торгуем несколько месяцев на указанном маркетплейсе, оригинальным товаром, отгружено более 700 заказов, никакого намека на "садовод" и прочую шляпу нет.

«Spotify: История продукта». Как мы разработали алгоритмы музыкальных рекомендаций

Из онлайн-библиотеки — в сервис персонализированных рекомендаций.

Прокрастинация: как перестать откладывать на потом и 4 способа которые мне помогли

Каждый раз, когда я начинаю думать о сложной или неприятной задаче, я чувствую внутреннее сопротивление. Например, когда нужно практиковать английский, писать сценарий или работать над сложным проектом.

Принцип «Всё смотрю». Часть 1

Дисклеймер. Я подметил принцип, которым, как мне кажется, пользуются многие руководители проектов, продуктов, компаний. Решил записать своё наблюдение в виде наглого утверждения — мол, вот так вот всё устроено! — чтобы дать уважаемым читателям материал для обсуждения и узнать их мнение.

null