История взлёта и падения новостного сайта от 10 тысяч до 1 млн уников в сутки и обратно и при чём тут Joomla!

Привет вам, уважаемые читатели!

Да-да, в заголовке нет ошибки. Действительно был (и есть) такой сайт региональных новостей, траффик (и конечно заработок) которого удалось поднять до небес. Вы только представьте себе, как больно было оттуда падать!

Виталий Куликов
Автор статьи (сайт автора), участник русскоязычного Joomla-сообщества (Telegram и сайт сообщества)

Эту поучительную историю меня просили озвучить уже несколько раз знакомые и не очень единомышленники из Joomla-сообщества, которые были её свидетелями.

Ну и вот. Технических моментов будет не так много, тут важно другое.

Признаюсь, я не без гордости и тщеславия активно делился с сообществом в тематичном телеграм-чате невиданными результатами переноса новостного сайта с движка Битрикс на Joomla! История действительно поучительная, обязательно сделайте выводы. Будут скрины-доказательства, денежные и малость технических подробностей, но главное, конечно, мораль)

Предыстория

Началось всё банально - с телефонного звонка. Предлагали работу по так сказать "выводу регионального новостника на новый качественный уровень".

Звонившим оказался один из самых целеустремлённых людей, которых я только встречал в своей жизни. Он с жаром описывал свои планы по развитию сайта, предлагал новаторские, интересные идеи и формы их реализации, так горел проектом, что шансов отказаться у меня не было никаких. Он даже приехал за 2000км в мой маленький южный город для «установления личного контакта».

В итоге я согласился, но с условием, что модернизированный проект мы будем делать только на Joomla!, никаких больше битриксов. Сразу предвижу негодование любителей (и профессионалов), считающих это моё требование личным оскорблением, и спешу их успокоить. Дело вовсе не в том, насколько плох битрикс для создания сайта. Дело в том, насколько плох лично я в создании сайтов на битриксе. Только и всего.

На мои условия согласились, но очень просили сохранить предыдущие материалы. Оказалось, что пару лет назад сайт уже переделывали, угробив всё наследие предков подчистую. Повторения истории заказчику очень не хотелось.

Так появилась первая неприятная и незапланированная задача - перенести несколько тысяч статей из базы данных битрикса в совершенно иную по структуре базу данных Joomla! А позже таких вот задач было столько, что я сбился со счёта.

Joomla-сообщество

Что бы я делал без нашего сообщества, даже не знаю. Выручали и советом, и действием. С кроссплатформенной миграцией статей помогли невероятно, написав специально для этого уникальный парсер. Несколько тысяч материалов перетекли в новый сайт за несколько минут. Но это только малая часть помощи от сообщества.

Иногда я был на грани отчаяния, как например в часы пиковых нагрузок, когда сервер с 10 процессорами и 20 гигабайтами оперативной памяти просто не выдерживал неслыханного наплыва посетителей. Но снова спасли, на сленге процесс спасения звучит довольно просто - "допилили" настройки сервера. Спасибо вам, братья!

Начало

Итак, перевод модернизированного сайта с Битрикса на Joomla! случился в самом-самом конце 2018 года. По этому поводу в базе скриншотера удалось разыскать красноречивую картинку статистики.

Скриншот статистики посещаемости сайта-новостника в момент переезда с битрикс на Joomla
Скриншот статистики посещаемости сайта-новостника в момент переезда с битрикс на Joomla

Признаюсь честно, глядя на эту статистику ни на какой глобальный успех я тогда попросту не рассчитывал. Ну вот на сколько процентов мы могли вырасти? На 30 - уже хорошо, на 50 - вообще отлично. Да хоть на 100 - в абсолютном выражении это всё равно крохи. Исходя из статистики и был подобран вот такой VPS сервер с запасом прочности.

Конфигурация сервера для нового сайта.
Конфигурация сервера для нового сайта.

Но как только мы начали расти, сразу же возникли проблемы с его стабильной работой. Вот так себя вела эта машина.

Таймлайн нагрузки на сервер. Видно пиковые скачки нагрузки.
Таймлайн нагрузки на сервер. Видно пиковые скачки нагрузки.

А вот такие эмоциональные переписки у меня были с куратором проекта.

История взлёта и падения новостного сайта от 10 тысяч до 1 млн уников в сутки и обратно и при чём тут Joomla!

Оптимизация

Что же там так нагружало сервер? Ведь наш сайт – обычная голая Joomla! + фреймворк Gantry 5 для гибкой настройки вывода контента. Мы ещё не успели навешать ничего «лишнего», и вдруг сразу такое поведение.

А проблема была банальна: при первом же анализе выяснилось, что предыдущие разработчики вообще не парились ни с какой там оптимизацией, а ведь мы все старые статьи сохранили, включая картинки! Взгляните, к чему это привело.

Время загрузки картинок
Время загрузки картинок

Было конечно с чем работать и помимо картинок. Но ёлки-палки, это же самое простое и очевидное, даже в голову не пришло, что этого не было сделано предыдущими специалистами...

Картинки (и много чего ещё) были оптимизированы автоматически при помощи платной версии JCH Optimize - популярного расширения для joomla! Кроме того, впоследствии был включен кэш и gzip-сжатие скриптов.

Тут сразу нужно предупредить, что такие меры - это палка о двух концах. Корректность работы скриптов после сжатия нужно обязательно проверять. В нашем случае без проблем не обошлось, от включения сжатия перестал работать компонент фотогалереи. После недолгих поисков нашлась альтернатива, которая успешно заменила капризулю.

Ну а без кэша при серьёзном траффике, как мы убедились на практике, просто невозможно обойтись. Да, после его включения была куча проблем, но без него сервер безальтернативно погружался в пятисотую цифровую нирвану.

Стандартного решения оказалось недостаточно, поэтому был использован компонент JotCache. Его можно настроить тонко, чтобы и сервер сказал спасибо, и пользователи получали актуальные статьи сразу же, а не с задержкой в модуле новостей в 15-20 минут, как это получилось на нашем сайте поначалу.

Итоги оптимизации

История не сохранила показателей в начале пути, но вышли мы на честные 94 пункта по версии PageSpeed Insights на десктопе и 67 на мобильной версии.

Баллы Google Pagespeed после оптимизации.
Баллы Google Pagespeed после оптимизации.

Вторым этапом подключились к агрегатору Яндекс.Новости, третьим - к Яндекс.Дзен. Четвёртый этап – репосты в соцсети (одноклассники, кстати, работали намного лучше ВК) с уводом на сайт для прочтения полного текста статей. Всё это в совокупности дало результат практически сразу.

После всех этих дел посещаемость сайта удвоилась всего за месяц. В конце февраля 2019 года был зафиксирован наш новый рекорд в 1000 одномоментных посетителей и траффик в 25000 «уников» в сутки.

Уже 1000 пользователей сайта одномоментно
Уже 1000 пользователей сайта одномоментно

Рост траффика в 100% за первые два месяца - отличный результат! Тогда мы радовались этим цифрам, как дети.

Забегая вперёд скажу, что разумеется ни я, ни ребята из редакции в тот момент не могли всерьёз подумать, что уже через полгода мы вырастем еще на тысячу процентов до стабильных 250-350 тысяч посетителей в сутки, а в удачные дни будем собирать до полумиллиона. И что такая радужная на тот момент цифра в 25000 «уников» будет считаться руководством, да и нами тоже, катастрофой и крахом проекта.

Что же это за сайт-то такой?

К сожалению, я не могу публично озвучить название ресурса, хотя мои друзья-товарищи его конечно знают. И чуть позже вы поймёте, почему это так. Но в целом описать специфику работы конечно нужно.

Представьте себе полусоветскую, закостенелую гос. структуру в глубинке нашей страны, где всё завязано на главного редактора. Параллельно сосуществуют сразу две редакции: одна для бумажной версии, вторая - для электронной. Исключительно на сайт работают сразу три пишущих журналиста и фотокор. В сутки из-под их клавиатур выходит свыше 30 коротких новостных заметок-однодневок и несколько долгоиграющих лонгридов. Главный редактор смотрит каждый материал на предмет соответствия редакционной политике, которая строжайше не допускала многих вещей.

Для сравнения, самым успешным нашим конкурентом на региональном инфополе было частное издание, которое позволяло себе намного больше. Треш-контент, слухи, сплетни, расследования – в общем вся дичь, что так нравится людям, приносили им до 50 000 посетителей в сутки. Мы такое себе позволить не могли. Было ещё три-четыре заметных частника-участника с показателями в районе 10 000-15 000 «уников», на которых мы с высоты возросших показателей уже не обращали своего внимания.

Глядя на такой быстрый рост траффика перед куратором проекта, который играл роль в том числе связующего звена со мной-исполнителем, была поставлена вполне социалистическая задача – догнать и перегнать, ну вы поняли. При этом цифры по оплате оставались изначальными, и сейчас я их озвучу.

Сам проект создавался в несколько этапов примерно 3-4 месяца и в совокупности обошелся заказчику примерно в 300 тысяч рублей до момента запуска. А дальше мы договорились на поддержку и развитие проекта за вполне скромные 10 тысяч рублей в месяц.

Дело в том, что сайт на момент перезапуска в совокупности приносил всего 100 тысяч, так что плата за мои труды на тот момент была вполне адекватная. К тому же мне самому было очень интересно, как высоко мы сможем подняться по итогу.

Куратор в свою очередь получал около 30 тысяч наших удивительно-замечательных рублей и выполнял при этом просто колоссальный объём работы. За пару месяцев он с нуля построил отдел продаж, который активно привлекал денежные потоки на волне растущего траффика. Продавали всё, от банальных баннеров до информационной поддержки организаций и участия в спецпроектах. И результат не заставил себя долго ждать.

Взлёт

На 2019-2020 годы считать доход от контекстной рекламы было очень просто: каждые 10 000 посетителей были примерно равны 1 000 рублей (эти цифры были получены эмпирическим путём, то есть на практике просто это так оказывалось при сравнении траффика и дохода за любой период на тот момент. Как дела с доходами от контекста на этом рынке обстоят сейчас - я не знаю).

Итак, вполне логично, что главной задачей в этих условиях разумеется было нарастить траффик, что равносильно наращиванию прибыли. Но как это сделать быстро?

В процессе анализа показателей публикуемых статей мы заметили, что некоторые темы что называется «заходят». Их было не так много, к сожалению. Поиски новых интересов читателей не дали желаемого результата абсолютно.

Тогда мы решили искусственно умножить топовые статьи, делая их рерайт у самих же себя и выпуская с другими заголовком и картинкой. И это сработало!

И вот уже у нас на сайте 10 000 посетителей онлайн.

Новый рубеж - 10000 посетителей на сайте в один момент времени
Новый рубеж - 10000 посетителей на сайте в один момент времени

И почти 250 000 посетителей за сутки

244000 уникальных посетителей
244000 уникальных посетителей

А вот скрин, когда у нас были так называемые «удачные дни». Любопытно, что в такой ситуации предыдущие 4 дня со «стандартным» траффиком в районе 250 000 кажутся «просадкой».

В "удачные дни" сайт собирал больше полумиллиона уникальных посетителей в сутки
В "удачные дни" сайт собирал больше полумиллиона уникальных посетителей в сутки

Рекорд был установлен в районе миллиона посетителей, но я так и не смог найти скрин, подтверждающий этот факт, так что можете поверить (или нет) на слово.

Разумеется, параметры сервера мы также подняли практически сразу, в феврале 2019. Хотя и монстру с 10 процессорными ядрами и 20 гигами оперативы тоже периодически приходилось туго.

Сервер для Joomla-сайта
Сервер для Joomla-сайта

Кульминация

Теперь по поводу улова в этом море траффика. Конечно, каждый может посчитать и сам, но для всеобщего удобства я всё же приведу некоторые расчёты.

Итак, среднесуточная посещаемость примерно равнялась 330 000 посетителей. Как уже было озвучено выше, каждые 10 000 читателей приносили только на контексте примерно 1000 рублей. Путём нехитрых вычислений получаем доход 33 000 рублей в сутки или 999 000 в месяц. Фактически месячный доход контекста незначительно превышал миллион рублей, что не меняет сути, а наоборот, подкрепляет наши «примерные» расчеты.

И это ещё не считая сопутствующего дохода отдела продаж от рекламных контрактов с «китами» вроде пяти крупных банков, всевозможных операторов связи, и средне-мелкими местными бизнес-проектами.

Таким образом, уже через полгода после миграции мы обогнали по выручке бумажную версию газеты, а по прибыли приносили в 6 раз больше денег, чем разносимые почтальоном старообрядческие свёртки информации с огромной себестоимостью.

В совокупности доходы от сайта увеличились приблизительно на 1700% (да-да, примерно в 17 раз).

Мой же гонорар за работу оставался прежним – 10 000 рублей. Лично мне это казалось как минимум несправедливым, а как максимум – обидным обстоятельством. Несколько раз через куратора проекта я пытался организовать себе повышение, просил не так много, речь шла о 20 000 рублей в месяц. На что получил ответ в духе: с какой радости сразу в 2 раза повышать з/п, разве работы стало в 2 раза больше?

Что ж, работы действительно в 2 раза больше не стало, как не стало и энтузиазма, желания что-то улучшать и сотрудничать дальше. Я свёл своё участие в проекте к формальному минимуму, а весной 2020 года и вовсе завершил коммерческие отношения с этой организацией. В общем, расстались мы не хорошо. Бремя обслуживания и продвижения сайта легло на штатного редакционного сисадмина, который в целом был отличным парнем и всё время нашего сотрудничества в меру способностей «перенимал опыт».

И тут мы подходим к развязке

Какое-то время, около полугода примерно, сайт по инерции приносил примерно тот же траффик. Уже без моего участия его продолжали улучшать с тем же примерно успехом, как улучшали СССР в конце 80-х годов.

Итогом стала просадка траффика на 80% к концу 2020 года. Весной 2021 со мной безуспешно попытались восстановить трудовые отношения на любых моих условиях.

Мне, конечно, было это приятно. Но уже не нужно. Это как с девушкой, которая в начале тебя отвергла, но, не найдя вариантов получше, просится обратно, согласная уже вообще на всё. Я отказался.

P.S. Признавайтесь, заходите в соцсети к своим бывшим с «левых» аккаунтов? Скажу честно, за этим проектом я время от времени наблюдал и не без тревоги.

Итогом его улучшений стала очередная реинкарнация – сейчас сайт работает на Wordpress. Видимо, у нового разработчика были «свои условия». Старых статей к моему ужасу им сохранить не удалось.

На весну 2022 года траффик упал до 25-50 тысяч посетителей в сутки, что в целом не плохо, но всё же совсем не то. Доходы упали в тех же примерно пропорциях. От проекта-миллионера осталась только моя светлая о нём память и скриншоты статистики. А теперь вот ещё и эта статья.

В самом начале я обещал вам, что у этой истории будет мораль. И конечно же она тут есть. Поищите пропащую между строк и обязательно её найдёте, возможно даже каждый – свою.

Всего вам доброго и спасибо, что дочитали до конца.

Виталий Куликов.

История взлёта и падения новостного сайта от 10 тысяч до 1 млн уников в сутки и обратно и при чём тут Joomla!

Полезные ресурсы

Ресурсы Joomla-сообщества:

Сообщество в Telegram:

103103
69 комментариев

Тема не нова. Как просрать прибыльный бизнес, возомнив себя охрененным бизнесменом (это я про вашего надзирателя).

Лучше своего проекта нет ничего. А работа на дядю это работа на дядю.

Да и кстати с таким трафом надо было свой бизнес открывать и рекламировать, а не пользоваться всякими Яндексами и прочей шалупени.

34
Ответить

Господи, вспомнил свою историю. В 2014 году сделал интернет магазин на Joomla и через пару месяцев он генерил выручки больше чем оффлайн точка продаж.
Причем инициатива создания была лично моя, то бишь голый энтузиазм.
Тематика была стоматологическое оборудование. После того как я увидел сколько денег зарабатывает моем детище, тоже попросил поощрение, на что мне указали, что я уже получаю ЗП 20000 рублей и этого достаточно.
Ну а дальше все было как у автора статьи, потеря интереса к проекту и его стагнация.

20
Ответить

перенес бы на свой домен и открыл бы свой магаз) масс редиректы ну или просто канониклы, чтоб меньше палиться и все

3
Ответить

Статья интересная, спасибо. Хочу заметить два момента:
1. Новостник - это такой особенный сайт, на котором очень маленькая глубина просмотра. 500к посетителей новостника никак не равны такой же посещаемости на почти любом другом контентном проекте, а особенно на проекте с UGC. Если бы глубина просмотра была не 1,1-1,2, а хотя бы 3-4, то с пиками до 1м посетителей, сайт бы уже не выжил на одном сервере, а это уже совсем другая история. Это замечание не в укор, а просто для понимания читателям, которые не в теме.
2. Не уделено внимания источникам трафика. Откуда был наибольший прирост? Вполне возможно, например, что кучу трафика давал дзен, а потом поменялась его политика и именно это привело к падению. То есть, наличие или отсутствие ТС в команде проекта, не повлияло бы кардинально на показатели. Конечно, опытный человек (если он мотивирован работать) всегда лучше реагирует на изменения обстоятельств, но всё же, всё же.

18
Ответить

Да скорее всего. Наличие там автора никак не спасло бы проект. Чужой траф - это чужой траф. А дзен и поиск яндекса как раз в этот период "ужесточал свою жесть"

6
Ответить

Да это так и было канал отвалился, но не умелые действия людей и последующий переезд усугубили всё дело.

2
Ответить

Прочитал, особенно про попытку вернуть вас через полгода и ваш отказ. КРАСАВЧИК!

16
Ответить