После оплаты годового тарифа узнал, что скорость доступа к их сервису по api ограничена 1 мбит/с. То есть файл, размером в 28 мб, загружается на Яндекс Диск за 215 секунд, а 1гб за 2 часа 16 минут. Заранее об этом Яндекс предпочёл не сообщать.
У Яндекса есть свой API, и нужно отдать должное: среди всех облачных сервисов - api Яндекса самый адекватный. Но есть один нюанс, о котором Яндекс почему-то умолчал: Доступ к их сервису идёт на скорости 1 мегабит в секунду. Эта проблема даже гуглится. Оказалось, что это ограничение прилетело на компании, которые использовали Яндекс Диск, как часть своей инфраструктуры. При чём здесь я - не ясно.
Зачем мне доступ по API
У меня в тамбуре есть камера, и чтобы себя подстраховать и не надеяться лишь на стабильность самой камеры, я решил в автоматическом режиме дублировать видео с камеры куда-нибудь в безопасное место. Чтобы вы понимали, мой объём данных за год - 20гб видео (это крайне мало).
Я открыл Яндекс, увидел, что у них есть API, оплатил подписку на год и попробовал закачать файл. Файл размером в 3мб загружался около 30 секунд. Разумеется, первым делом я подумал, что проблема в моём интернете, но на трёх разных провайдерах скорость не поднималась выше 1 мбита/секунду. Третий провайдер - это сервер в Амстердаме, где скоростью отдачи 1.5 гигабита по Speedtest
Попытка обратиться в ТП Яндекса
Откуда бы ты не писал: из раздела о работе Яндекс Диска или из раздела по работе с RestAPI - тебя всегда будут перенаправлять на Фёдора Строганова, который знает только одну фразу:
Здравствуйте! Скорость загрузки файлов на Диск, скачивания с него или обмена данными с Диском зависит только от скорости вашего соединения и настроек оборудования, дополнительные ограничения мы не устанавливаем.Однако мы не можем гарантировать стабильную работу сторонних приложений, так как не участвуем в их разработке и настройке. Вы можете использовать любое официальное решение Яндекса.У нас есть программа Яндекс Диск для Windows, macOS и Linux, приложения для Android и iOS и, конечно, сайт Диска.
Обратите внимание на часть "дополнительные ограничения мы не устанавливаем". Да-да, конечно...
Уважаемый Яндекс, я не коммерческая организация, я не закачиваю на свой диск терабайты информации ежедневно, я оплатил подписку на год и далее буду её продлевать, я хочу в полной мере использовать ваши услуги. Прошу вас снять с моего аккаунта эти ограничения
P.S. Как происходит запрос
В начале я делаю get запрос на получение ссылки
Затем на ссылку, которую получил в ответе, отправляю сам файл PUT запросом
Вот ссылка на весь запрос Pastebin.Request.
А вот такой ответ я получаю Pastebin.Response
Могу подтвердить, что скорость по API сильно режется. Пробовал использовать совместно с утилитой rclone. Невозможно пользоваться ни для чего. Зачем я купил 2 терабайта? Чтобы вот так страдать?
Я бы на вашем месте попробовал Yandex Object Storage: https://cloud.yandex.ru/services/storage
Оно совместимо с Amazon S3 API. Плюс есть 2 вида хранилищ: стандартное и холодное.
Думаю, должно даже дешевле выйти, чем Я.Диск.
в 48 раз дороже. Если быть более точным 48.73 раз.
Возможно, если бы я был коммерческой организацией, которая зарабатывает на этом, то было бы справедливо. А когда у меня домашнее пользование, то что-то не совсем хорошо получается
Комментарий недоступен
Не путайте мегабайты с мегабитами. 1,5 МБ/с = 12 Мбит/с, а в статье речь про резку до ~ 1 Мбит/с.
А как давно webdav перестал быть в почёте?
Да, давно — https://qna.habr.com/q/677787
Яндекс всех, кто хоть немного тянет на enterprise заставляет мигрировать на их облако
И заодно, уточните, вы брали дополнительно 1 ТБ чисто под диск или он шел в комплекте к чему-то? Почему не воспользоваться, например, https://www.netangels.ru/data-storage/?
Так они эту скорость давно начали резать, сразу же после того как диск использовали как сервера и хранилища, тогда много левых АПП отвалилось
Гораздо интереснее арендовать виртуальный сервак, чем иметь дело с яндексом
Комментарий недоступен
Здравствуйте! Я из Яндекса. Спасибо, что рассказали, уже передал команде. Посмотрим, что можно сделать.
Видимо недосмотрели... Скорость как была дно, так и осталась. Подписку продлевать не буду, т.к. скорость 1MBps так и осталась в 2023 г. и это за деньги.
Здравствуйте! буду ждать вашего ответа
*a-few-min-later-jpg*
/ban { @Роман Фёдоров } too good for yandex-api-disk
АХХАХАХА! ПИЗДЕЦ ТЕБЕ, ЛЮБИТЕЛЬ API-ЯНДЕКСА ЕБА[п. 2.2.1 правил общения ЦП]
Простите 🤭
Нужно сделать настройку для пользователей, как в дропбоксе где ты сам устанавливаешь ограничение на вход и выход.
К сожалению яндекс скуксился... Никто не может долго жить без головы.
В общем, у меня тоже возникла необходимость делать бекапы, а в текущей ситуации в мире все иностранные подобные сервисы я сразу отмёл, а отечественных выбор не так велик. Короче наткнулся я на это сообщение и засомневался. Но провёл свои собственные тесты, и в итоге купил себе подписку на год. Что хочу сказать, первое, читайте внимательно ответ от техподдержки яндекса. Они вам не соврали, но читайте внимательно! Ответ шаблонный, но составлен грамотными юристами, я в этом ответе увидел следующие:
1) яндекс гарантирует что скорость работы с диском не будет ограничиваться с их стороны при использовании ОФИЦИАЛЬНОГО клиентского ПО от яндекса.
2) Яндекс НЕ гарантирует что скорость работы с диском не будет ограничиваться при использовании альтернативного ПО из других источников. И прямо намекают что они оставляют за собой право это делать. (что и сделали)
—— Собственно всё ——
По факту, после прочтения я провёл свои собственные тесты, которые подтвердили все вышесказанные подозрения, моя скорость интернета 200 мегабит. При загрузке файлов на яндекс диск и с яндекс диска, с использованием их официального ПО скорость была ограничена лишь моим каналом интернета.
При использовании альтернативного не официального клиентского ПО, скорость загрузки с яндекс диска на локальный диск была НЕ ограничена, при загрузки с локального диска на яндекс диск да, был 1 мегабит. Скрины прилагаю ниже (первые два выгрузка на яндекс диск через официальное ПО, последний загрузка с яндекс диска на локальный через альтернативное ПО NAS для внешней синхронизации).
То что загрузка на яндекс при использовании стороннего ПО ограничена, это конечно не приятно, но лично для меня не критично. В моём случае, ситуация следующая, у меня есть сетевое хранилище, на котором я храню всё важное. Было бы конечно хорошо, если бы ПО на сетевом хранилище само синхронизировалось с яндексом, но, файлов у меня много и они большие. Нет, это не видео с фотками :) Это архивы с проектами, пофайлово копировать в реальном времени для меня не вариант, там файлов миллиарды, по этому я настроил задание по расписанию, которое архивирует проекты по папкам и до кучи прогоняет архивы через AES шифровалку, перед загрузкой на внешние хранилища, так на всякий случай. Потом эти архивы кладутся в папку которая расшарена по локальной сети на мой комп с виндой и установленным яндекс диском. Яндекс диск на винде сам видит изменения файлов на сетевом диске и выгружает файлы на максимальной скорости. В целом моя задача решается целиком и полностью, да без бубна с напильником не обошлось, но в итоге сервисом я доволен.
Подтверждаю, попользовался пол часа - час, понял, что это - треш, режется на любых мультимедийных файлах, если тот же файл пульнуть без расширения - скорость тут же магическим образом возрастает. @Яндекс , верните деньги, пользовался меньше часа, номер заявки на возврат 23092608494790809 .
сталкивался с этим когда бэкапил синолоджи через вебдав на их облако. признавать, что ограничения на их стороне они не стали, разбираться не хотят. множество свидетельств тому есть на профильных форумах. не один и не два года уже этой "проблеме", сомневаюсь что в вашем случае что-то изменится.
Видимо из-за сайтов и групп в телеге (бот запросы) которые качают торренты и заливают на Яндекс диск и порезали скорость, чтобы не злоупотребляли
Как раз скачанный с торента файл без проблем грузится в янекс лиск. То есть он дефакто не грузится а на ходится в другом акаунте и копируется к вам, там исходящего тарфика нет вообще и при этом файл появляется в облаке. Магия
Файлы, скачанные с торрента, через API точно не загружались. Для этих целей проще использовать браузер или официальную программу. Вам там ещё человек неверно ответил.
Видимо, это связано с этим: https://pikabu.ru/story/yandeks_zakryivaet_webdav_na_diske_dlya_storonnikh_prilozheniy_i_ne_priznaetsya_v_yetom_7073039 .
Нет.
Спасибо, как раз думал стоит ли брать их 2тб на 2 года. Понял, что не стоит того, бэкапы будут вечность грузиться
А можно как то распознать как сервер отличает официальный клиент от официального. Чтоб прикинуться официальным клиентом.
На самом деле покопав глубже, я всё понял. Проблема не в том как он отличает, а в том как работает клиент. В общем суть, яндекс апи, это "Extended WebDAV". И "расширенный" тут ключевое слово. Если у разработчика альтернативного клиента руки не оттуда, или ему лень разбираться в "Extended WebDAV", то да, резаться будет всё. Короче, как работает нормальный клиент, это может быть и альтернативный в том числе:
1) бьёт большой файл на сегменты (виртуально)
2) вычисляет от каждого сегмента его hash
3) делает запрос на апи яндекса, подсовывая список hash этих сегментов
4) получает ответ от яндекса, каких сегменты у него уже есть, а каких нет
5) грузит только те сегменты файла которых у YD нету (по их id полученные от яндекса в п.4).
——
Если не выполнять эти условия, скорость будет резаться.
Как работает "недо-клиенты", в том числе тот "curl" пример из первого поста:
1) пытается пропихнуть весь файл целиком без сегментирования и вычисления хэшей.
2) яндекс видит отсутствие хэшей и что ему пытаются пропихнуть огромный файл целиком, как итог яндекс такие клиенты режет.
И это вполне ОПРАВДАНО!
Поясню почему:
Представьте, у вас есть большой файл, скажем 20gb, который вы загрузили на диск. Вы изменили в нём пару байт (а может и просто дату создания файла) ваш клиент видит что файл изменился и шлёт весь файл на диск. Скорость вашего канала 200 мегабит. И таких как вы ещё 1000 человек по все РФ, которые поставили себе эти "недо-клиенты". Что случится с каналом связи яндекс цода? Ляжет он. Потому что 200 гигабит канал нужен будет, нет таких каналов. До кучи, вы все, все 1000 человек, загрузите на YD 20 TB данных, ПРИ ТОМ что у файлов изменилось пару байт из 20TB (со всех в сумме), или вовсе могла просто дата поменяться.
Короче, для себя лично я решил проблему просто и быстро, я создал для своего NAS docker образ с yandex disk официальным клиентом. И смонтировал в него нужный мне каталог.
Далее я создал ещё один docker образ, которому отключил сеть и дал лоступ к корневой системе в NAS, напихал всяких кронов, которые архивируют нужные мне папки и сервисы со всего NAS в тот каталог который доступен первому докер образу с яндексом. Итог, файлы выгружаются на яндекс диск на скорости 20 мегабайт в секунду (200 мегабит), это предел моего интернет канала.
Да никак они не отличают = режут все.
Ничё там не режут
не не не прога диска спокойно отдает поток в 400+ мегабит.
Могу лишь подтвердить для скептиков, что скорость 100% ограничивается. Я переехал на РФ сервер с Hetzner (так как стало не удобно оплачивать) и всё. Может быть быть локация Helsenki каким-то магическим образом влияла и скорость не резалась, но с РФ серверов на данный момент скорость не радует.
Через приложение Яндекс.Диск скорость хорошая, проблем не наблюдаю.
Скорость ужас((((стала гуглить в чем дело,думала мой интернет плохой, оказалось вот как,даже оплата не спасает((
Комментарий недоступен