«Яндекс.Облако» запустило сервис для разработчиков в области машинного обучения Yandex DataSphere Статьи редакции

Сервис позволит разработчикам переключаться между разными типами виртуальных машин без остановки вычислений и оплачивать только время расчётов.

«Яндекс.Облако» открыло доступ к сервису Yandex DataSphere — облачной среде для использования инструментов машинного обучения, рассказали vc.ru в компании.

Сервис использует технологию бессерверных вычислений: при редактировании и просмотре кода не задействуются мощности CPU (обычные процессоры) или GPU (графические процессоры), а виртуальная машина нужного типа подключается только на время непосредственных расчётов (обучение моделей, запуск и других вычислений).

Это позволяет пользователю оплачивать только время реального использования вычислительных мощностей, отмечают в компании. Время редактирования и просмотра кода, случайный простой машины не учитываются.

Также Yandex DataSphere поддерживает бесшовное переключение между разными типами мощностей. Пользователи могут без остановки вычислений и с сохранением прогресса применять разные типы виртуальных машин: экономичные с CPU и быстрые с GPU.

В «Яндексе» отмечают, что это позволит ускорить разработку, сэкономить и повысить эффективность применения более дорогих вычислительных мощностей.

Позже компания планирует добавить функцию сохранения версий расчётов моделей по трём измерениям — данные, код и состояние ноутбука. Это позволит упростить командную работу специалистов по работе с данными и сделать ML-разработку более управляемым процессом для корпоративных пользователей. Среди других ожидаемых функций — проверка качества кода и рекомендации по оптимальному использованию машин.

Пока Yandex DataSphere доступен в тестовом режиме по предварительной регистрации, сервис бесплатный до конца июня 2020 года. После часть функций могут стать платными, уточнили в «Яндексе». Окончательные тарифы компания определит к моменту коммерческого запуска, дату в компании не уточнили.

0
13 комментариев
Написать комментарий...
Alexander Shuklin

Походу народ не в теме. Яндекс просто хочет за счет пользователей получать модели. И какие CPU и GPU в 2020? У google TPU которые дешевле выходят https://habr.com/ru/post/422317/

Ответить
Развернуть ветку
Игорь Кураленок

Не совсем понятно, как Яндекс может получить модели пользователей, если это cloud, где разработчики не имеют доступа к данным пользователей. Относительно TPU тоже не совсем понятно: именно в обучении им бесконечно далеко до топовых GPU, нужны они в основном для дешевого inference.

Ответить
Развернуть ветку
Alexander Shuklin

Модель получить легко, она описывается в вычислительном графе, где указанный все настройки и занимает около 10 строчек кода, которые легко разными способами получить. TPU, GPU или CPU в них через разные бекенды загружается это граф. TPU быстрее их в разы и дешевле, есть уже и китайские варианты https://sophon.cn/. Яндекс опоздал на столько что уже не когда не догонит их, так как нету отечественных разработок на ИИ.

Ответить
Развернуть ветку
Dark matter developr

На TPU работает не все и оно есть только в облаке. В то время как на GPU можешь наобучать модель, а заказчик будет её эксплуатировать на своем оборудовании.
Есть куча заказчиков, начиная от банков, для которых критично, чтобы чуствительные данные не ходили за периметр

Ответить
Развернуть ветку
Alexander Shuklin

Модель может и быть обучена и на 512 видеокартах как https://github.com/NVIDIA/Megatron-LM, и потом до обучить её на своём множестве на обычной 1080Ti или CPU, но в современном мире крутой тот кто больше эпох сделал, так что если у Яндекса карты ниже https://www.nvidia.com/ru-ru/data-center/tesla-t4/ то смысла в их сервисе нету.

Ответить
Развернуть ветку
Bulat Ziganshin

да, мало кто ещё заметил, что в пользовательском соглашении яндекс требует переписать на него бизнес, для которого разрабатывается модель

Ответить
Развернуть ветку
Denis Bystruev

Ну наконец-то!

Будет интересно сравнить тарифы (когда появятся) с Amazon SageMaker и Google Cloud ML.

Ответить
Развернуть ветку
Алексей Смолярчук

Дешёвым это не будет, оборудование стоит везде одинаково

Ответить
Развернуть ветку
Dark matter developr

У гугла платная версия Colab (а это можно одновременно запустить блокноты на нескольких видюхах) стоит $9.99 мес, тут тоже подается как сервис блокнотов.

Ответить
Развернуть ветку
Алексей Смолярчук

Ну там ограничение по рантайму, плюс, если долго пользуешься то тебе дают к80 все равно. Чтобы развернуть серьезное обучение и реализовать Speech to text задачу, например, через Deep Speech трансфер лернинг нужен стек из 4 gtx1080 минимум и то в этом случае обучение будет идти неделю.

Ответить
Развернуть ветку
Владислав Сатаров

«Давай досвидания» Microsoft azure?)

Ответить
Развернуть ветку
Michael Shramko

Все равно цены конские будут

Ответить
Развернуть ветку
Александр Антипов

Так, а что вы хотели. Конечно цены будут не маленькими, по другому не может и идти речь.

Ответить
Развернуть ветку
Читать все 13 комментариев
null