«Яндекс.Облако» запустило сервис для разработчиков в области машинного обучения Yandex DataSphere Статьи редакции
Сервис позволит разработчикам переключаться между разными типами виртуальных машин без остановки вычислений и оплачивать только время расчётов.
«Яндекс.Облако» открыло доступ к сервису Yandex DataSphere — облачной среде для использования инструментов машинного обучения, рассказали vc.ru в компании.
Сервис использует технологию бессерверных вычислений: при редактировании и просмотре кода не задействуются мощности CPU (обычные процессоры) или GPU (графические процессоры), а виртуальная машина нужного типа подключается только на время непосредственных расчётов (обучение моделей, запуск и других вычислений).
Это позволяет пользователю оплачивать только время реального использования вычислительных мощностей, отмечают в компании. Время редактирования и просмотра кода, случайный простой машины не учитываются.
Также Yandex DataSphere поддерживает бесшовное переключение между разными типами мощностей. Пользователи могут без остановки вычислений и с сохранением прогресса применять разные типы виртуальных машин: экономичные с CPU и быстрые с GPU.
В «Яндексе» отмечают, что это позволит ускорить разработку, сэкономить и повысить эффективность применения более дорогих вычислительных мощностей.
Позже компания планирует добавить функцию сохранения версий расчётов моделей по трём измерениям — данные, код и состояние ноутбука. Это позволит упростить командную работу специалистов по работе с данными и сделать ML-разработку более управляемым процессом для корпоративных пользователей. Среди других ожидаемых функций — проверка качества кода и рекомендации по оптимальному использованию машин.
Пока Yandex DataSphere доступен в тестовом режиме по предварительной регистрации, сервис бесплатный до конца июня 2020 года. После часть функций могут стать платными, уточнили в «Яндексе». Окончательные тарифы компания определит к моменту коммерческого запуска, дату в компании не уточнили.
Походу народ не в теме. Яндекс просто хочет за счет пользователей получать модели. И какие CPU и GPU в 2020? У google TPU которые дешевле выходят https://habr.com/ru/post/422317/
Не совсем понятно, как Яндекс может получить модели пользователей, если это cloud, где разработчики не имеют доступа к данным пользователей. Относительно TPU тоже не совсем понятно: именно в обучении им бесконечно далеко до топовых GPU, нужны они в основном для дешевого inference.
Модель получить легко, она описывается в вычислительном графе, где указанный все настройки и занимает около 10 строчек кода, которые легко разными способами получить. TPU, GPU или CPU в них через разные бекенды загружается это граф. TPU быстрее их в разы и дешевле, есть уже и китайские варианты https://sophon.cn/. Яндекс опоздал на столько что уже не когда не догонит их, так как нету отечественных разработок на ИИ.
На TPU работает не все и оно есть только в облаке. В то время как на GPU можешь наобучать модель, а заказчик будет её эксплуатировать на своем оборудовании.
Есть куча заказчиков, начиная от банков, для которых критично, чтобы чуствительные данные не ходили за периметр
Модель может и быть обучена и на 512 видеокартах как https://github.com/NVIDIA/Megatron-LM, и потом до обучить её на своём множестве на обычной 1080Ti или CPU, но в современном мире крутой тот кто больше эпох сделал, так что если у Яндекса карты ниже https://www.nvidia.com/ru-ru/data-center/tesla-t4/ то смысла в их сервисе нету.
да, мало кто ещё заметил, что в пользовательском соглашении яндекс требует переписать на него бизнес, для которого разрабатывается модель
Ну наконец-то!
Будет интересно сравнить тарифы (когда появятся) с Amazon SageMaker и Google Cloud ML.
Дешёвым это не будет, оборудование стоит везде одинаково
У гугла платная версия Colab (а это можно одновременно запустить блокноты на нескольких видюхах) стоит $9.99 мес, тут тоже подается как сервис блокнотов.
Ну там ограничение по рантайму, плюс, если долго пользуешься то тебе дают к80 все равно. Чтобы развернуть серьезное обучение и реализовать Speech to text задачу, например, через Deep Speech трансфер лернинг нужен стек из 4 gtx1080 минимум и то в этом случае обучение будет идти неделю.
«Давай досвидания» Microsoft azure?)
Все равно цены конские будут
Так, а что вы хотели. Конечно цены будут не маленькими, по другому не может и идти речь.