Почему аналог YouTube физически невозможен

В последнее время, что ни день, так с ютубом беда - то его замедляют, то сам ютуб массово банит за VPN. Когда же мы дождёмся достойной отечественной альтернативы? Краткий ответ - никогда, а в этой статье я подробно расскажу почему это невозможно чисто физически, не взирая на политику.

YouTube как бизнес

Чтобы понять сложность создания аналога, давайте для начала изучим эталон и поймём, за счёт чего он вообще живёт. Чем так особенен YouTube? Сейчас мы отбросим все факторы из серии "люди просто к нему привыкли", политику вместе с ними и сосредоточимся на двух сторонах вопроса - бизнесе и потребителе. Постараемся понять, почему люди предпочитают YouTube аналогам и благодаря чему владельцы самого хостинга зарабатывают деньги.

У YouTube есть множество источников дохода, но главный из них, конечно, реклама. И чем больше рекламы увидит пользователь, тем больше денег заработает хостинг. А теперь подумаем, сколько людей на этой планете любят рекламу? Ответ вряд ли кого то удивит - никто. Именно поэтому чтобы заставить пользователя смотреть рекламу, она должна быть "справедливой ценой" за ту пользу, что человек получает. В нашем случае это контент, ради которого пользователь и готов иногда видеть рекламу. Но одним рекламным роликом не отделаешься. Те, кто хоть минимально работал с трафиком и рекламными сетями знают, что рекламы нужно показывать много. Нет, рекламы нужно показывать ОЧЕНЬ МНОГО. Теперь вспоминаем, что пользователи, вообще то, не очень любят рекламу и единственный вариант показывать пользователю много того, что он не любит - разбавлять это ещё бОльшей горой интересного конкретному человеку контента.

Итак, мы определились с тем, что для YouTube, как и для любой соцсети, самая важная метрика - время пользователя, которое он потратил на просмотр контента.

Главная проблема

Автор этого текста - разработчик. Дай мне пару вечеров и я сделаю что то, внешне очень напоминающее ютуб, позволяющее загружать видео и смотреть их. Дай мне команду опытных спецов и пару месяцев - сделаю то же самое, только красивое и выдерживающее нагрузку, которую будут создавать сотни миллионов пользователей. На текущий момент это действительно тривиальные задачи. Вот только у моего "аналога", каким бы красивым и быстрым он не был, не будет главного компонента.

YouTube это не какой то специализированный ресурс для физиков-ядерщиков, это огромнейшая свалка контента, из которого платформа должна каким то образом дать пользователю то, что он удержит его внимание как можно дольше и соответственно, юзер увидит как можно больше рекламы. И алгоритм, что позволит мне давать пользователю ровно то, что ему нужно - тот самый главный компонент.

Придумываем решение

Итак, чтобы долго не мучаться, начнём с самого простого. С того же, с чего начинали все соцсети - подписок и поиска. Поиск даст пользователю найти свой первый контент, на авторов которого он и будет подписываться. Со временем, у пользователя сформируется список авторов, видео которых наша платформа будет ему усиленно рекомендовать. Вот только этого не хватит, потому что редкий автор выпускает контент каждый день, в то время как средний человек смотрит YouTube сильно чаще 1 раза в день на 20 минут. И даже подписавшись на несколько десятков авторов, должно невероятно повезти, чтобы все они выпустили то, что захочет смотреть пользователь.

Более того, мы сталкиваемся с более важной проблемой. Давайте представим, что в такой подписочной модели, 2 автора одновременно выпустили ролики. Какой из них нам предлагать пользователю в первую очередь? Тот, у которого больше просмотров? А может тот, у которого больше лайков? Или тот, который больше всего комментируют?

Даже на эти вопросы ответить намного сложнее, чем кажется, потому что для бизнеса не важны лайки, не важны комментарии и всё остальное, для нас важна только одна вещь - внимание пользователя. И на вопросы, которые я задавал выше, просто не существует правильного ответа, потому что люди разные. Кто то будет рад как можно дольше послушать любимого блоггера, а кто то любит участвовать в срачах и слушать видео на холиварные темы.

А теперь вспоминаем, что факторов для подбора контента - бесконечность. На поверхности мы видим лайки, комментарии, продолжительность видео. Подумав чуть дольше поймём, что есть ещё локация пользователя, его интересы, время суток, возраст и много чего ещё. В реальности же этих факторов сотни тысяч, потому что просто авторизовавшись, сайт уже знает помимо тривиальных "как зовут сколько лет", с какого браузера ты зашёл, какое железо стоит у тебя в ПК и что это за ПК - дешёвый ноутбук, мак или топовый комп, по айпи сможет понять твою примерную локацию, а когда речь заходит о мастодонтах типа гугла, где один и тот же аккаунт используется в плеймаркете, в ютубе, в поиске и много где ещё - счёт этих факторов и достигает нереально огромных значений.

Как оно работает в реальности

Ладно, уровня гугла нам может и не достичь, но давайте сосредоточимся на подборе видео. Благо, имеющихся у нас данных даже после простой авторизации на сайте, и так достаточно. Выпишем их и будем учитывать для каждого пользователя и видео.

А теперь представляем ситуацию. Пользователь - женщина в браке, трое детей, любит готовить и слушать дет-метал. И так уж случилось, что как раз вышло 4 видео. Одно идеально заходит мамам, другое - увлекающимся кулинарией... думаю, вы поняли систему. Так вот, какое из видео ей рекомендовать?

Тут мы плавно подходим к теме того, что все факторы равны, но некоторые - ровнее. И определение наиболее важных и является самой сложной задачей. Как же её решает гугл?

Когда "есть куча факторов и не очень понятно какие важнее и какие есть пересечения" - это прям по учебнику из нейронных сетей. Именно для решения таких задач и придумали машинное обучение. Так в чём же проблема? Давайте напишем нейронку и аналог готов! Как обычно, есть нюанс. Нейронку нельзя написать так, чтобы она идеально предсказывала интересы пользователя. Её можно только НАУЧИТЬ, ведь любой подобный алгоритм учится на ошибках и только благодаря им совершенствуется. И вот тут мы подходим вплотную к корню проблемы.

Проблема обучения

Одна из первых задач, которую решают те, кто изучает нейронные сети - определение цифры, изображённой на картинке. Для этого, обучаемому дают датасет (набор данных) с кучей картинок и самое важное - заранее известны точные ответы (т.е. какая цифра на какой картинке изображена). Далее пишется алгоритм, в котором задаются ключевые факторы - цвет пикселей и их расположение друг относительно друга, а затем "важность" этих факторов корректируется, путём прогона алгоритма по картинкам. Когда алгоритм случайно подобрал более удачные факторы для отгадывания цифры - он это запоминает и дальше двигается в ту сторону, а если не угадывает, то корректирует "важность" определённых факторов. Таким образом, спустя много прогонов, алгоритм подбирает оптимальные значения для того, чтобы с высокой вероятностью угадывать цифры.

Вам это ничего не напоминает? Если заменить картинки на видео, корректные ответы на внимание пользователя, то получится как раз то, что нам нужно. Однако, в этой нейронке факторов, влияющих на подбор - сотни тысяч, поэтому и учить её придётся на значительно более крупном объеме данных. Откуда же эти данные взял гугл?

В этом случае, слово "данные" скорее нужно воспринимать как "пользователи", потому что действия пользователя как раз и генерируют нам эти данные. Поэтому, если вам не вчера подключили интернет, вопроса "откуда у гугла столько пользователей?" возникать не будет. Даже в древние времена, когда у ютуба толком не было конкурентов, у него уже была гора пользователей.

Для понимания порядков чисел - у гугла МИЛЛИАРДЫ пользователей и сотни тысяч авторов, плюс пересечение с экосистемой, в основе которой точно так же лежит рекомендательный алгоритм (для рекламы и поиска). Каждый день, сотни миллионов людей нажимают на видео и ютуб понимает, насколько удачно он его подобрал.

А что у нас?

Даже если забыть про фантомные просмотры на условном VK Video и верить их отчётам, то сейчас мы имеем показатели, даже не близкие к ютубовским. Если верить отчётам самих компаний, то у ВК (на минуточку, крупнейшая соцсеть в СНГ) что то около 80млн активных пользователей в месяц, в то время как у ютуба - 5млрд. Именно поэтому, какие бы гении машинного обучения не разрабатывали VK Video, Rutube и прочее, они не смогут даже приблизиться к качеству рекомендаций YouTube, просто из за количества пользователей.

Тут ещё один важный фактор - чем больше активности пользователей, тем лучше алгоритмы, а лучше алгоритмы приводят к росту активности пользователей. У YouTube это колесо давно раскручено и имеет колоссальные размеры.

Реальность

Ну и ещё парочка гвоздей в крышку гроба:

1. Верить показателям того же ВК - очень сомнительная идея. Послушайте авторов контента и сами посмотрите что там происходит.
2. Написать даже базовый алгоритм для обучения нейронки по подбору видео - уже сложная задача. У YouTube на это были десятилетия опыта, экспертиза гугла и его бюджеты.
3. YouTube делал свои алгоритмы в условиях бизнеса - сделаешь хорошо = хорошо заработаешь. У аналогов, которые закидывают вертолётными деньгами, таких условий нет.
4. Продолжение п.3 - при закидывании вертолётными деньгами, намного выше шанс того, что эти деньги осядут в определённых карманах. Трищь майор, ничего не утверждаю, лишь рассуждаю про вероятности.

Поэтому с моей точки зрения, аналог не возможен чисто физически. Есть корневая проблема - алгоритмы подбора, а ещё вагон сопутствующих, которые я написал выше.

p.s. как же в конце статьи не порекомендовать свой тг-канал? я там пишу про айтишку, как в неё вкатиться и как увеличивать зарплату. подписывайся ;)