Cuti.cc — менеджер ссылок с широкими возможностями или мой учебный проект

Всем привет! Меня зовут Евгений Орел, мне 33 года, вот как уже год я занимаюсь разработкой своего нового проекта Cuti.cc и по совместительству изучением ООП на PHP и дополнительно прокачиваю JavaScript и адаптивную верстку.

В этой статье решил поделиться своим опытом, рассказать и показать что в итоге вышло из этой авантюры. А для тех, кто дочитает до конца, я подготовил приятный бонус.

За основу нового проекта решил взять фреймворк Laravel, а до этого создавал свои проекты на чистом php, повторный код применял через функции, и ни о каком разделении логики и представления даже не было и речи. Мне казалось, что это же так удобно, вот тебе объявленная переменная и вот она тут же выводится, или там же получили запрос из формы, тут же провалидировали и записали в базу, плохо чтоль? хорошо! =)) Зачем все эти кучи файлов: controller, request, service, interface, repository, query? Думал тогда я, но сейчас, не могу без боли смотреть на свой старый код, и я думаю многим разработчикам это знакомо.

И я сразу решил, что буду работать с наставником, так как так прогресс пойдет намного быстрее и эффективнее. Наставника нашел на solvery.io с конкретной специализацией Laravel, связался, договорились по времени и начали работать. Проработали мы так 4 месяца, и дальше с обретенными знаниями я отправился в свободное плавание.

В работе над текущим проектом интерес вызывает тот момент, что все меньше нужно писать код руками, что под большинство задач уже существуют готовые решения, а тебе остается только отправить команду composer’у, подключить модуль в нужных местах и пользоваться. Задача веб-разработчика в современных реалиях сводится только к обдумыванию логики как все это связать воедино, чтобы оно работало без ошибок. Тут видимо стоит упомянуть зеро кодеров, но лично мне такой подход не по душе, работать с кодом куда приятнее, чем только с визуализацией процессов.

В своем текущем проекте я на 70% использую готовые решения и код, созданные другими, а именно:

И лишь 30% от всего проекта — это логика, написанная собственными руками, которая соединяет все составляющие компоненты и позволяет системе работать по запланированному сценарию.

А по поводу stackoverflow можно вообще отдельную статью написать, о том, как можно создать проект, не зная досконально языка программирования, просто беря оттуда код (только не из вопроса:), так как практически на 90% возникающих вопросов уже есть ответы. Только в очень каких-то специфичных случаях решения нет, либо был просто неправильно задан запрос. По поводу запросов, я ищу только на английском, так как: 1. там больше готовых решений 2. прокачиваю свое знание языка.

Так как я хотел объединить приятное с полезным, то нужно было создавать что-то, что будет приносить пользу обычным юзерам, тогда и работать приятнее. За идею учебного проекта решил взять вполне простую логику — сокращалку ссылок. На входе получаем длинную, а на выходе отдаем короткую ссылку, все вроде бы просто, но нет, под капотом еще много нюансов, а чем подробнее дальше.

Ежедневно тысячи пользователей пользуются подобными сервисами, с различными целями:

Основной игрок в данной теме по моим наблюдениям это bit.ly, а в ру сегменте по статистике из worstat.yandex.ru сокращалка от vk.com

Я изучал bit.ly, каждый месяц, судя по similarweb, через них проходит 2.5 миллиарда трафика, в основном из США, из соцсетей 66% — это YouTube. У них есть довольно интересные решения, которые можно было бы позаимствовать себе в плане интеграции с другими сервисами, доставки данных и регистрации домена прямо из аккаунта, а также предоставление своего домена другим пользователям, чтобы они работали на ваш бренд. Цена на premium тариф у них стоит 199$

90% пользователей заходят на такие сервисы из поиска разово, попав на сайт, получив короткую ссылку, тут же его закрывают, время сессии в среднем не превышает 10 сек, это данные из моей метрики.

Вот самый типичный User Flow на сайте:

И чтобы хоть как-то зацепить таких юзеров я добавил форму подписки на рассылку отчетов со статистикой после получения короткой ссылки, в результате примерно 5% пользователей оставляют свой Email, и для них создается аккаунт. Плюс там же предлагается подключить Telegram бота, отправив ему команду с ключом пользователя для привязки к аккаунту, про телеграм бота отдельно также распишу.

По ходу работы я понимал, что делать просто очередную сокращалку ссылок не интересно, так как там нет особо сложных задач, а значит нет возможности развиваться. Поэтому с каждым разом я ставил себе все более сложные задачи, что создавало чувство азарта и полной вовлеченности в процесс с желанием сделать наилучшим образом.

И на данный момент Cuti не просто сокращает ссылки, но и делает множество других полезных функций.

Подключение трекеров и пикселей

Возможность подключить сервисы аналитики Google Analytics, Яндекс.Метрика, а также пиксели Facebook и VK, для отслеживания переходов пользователей. По сути, в обычном режиме происходит php location редирект, а в случае с трекерами js редирект, юзер увидит промежуточную страницу загрузки перед перенаправлением и его успеет зафиксировать внешняя аналитика.

Анализ трафика и переходов

У меня достаточно большой опыт работы с трафиком, управлял когда-то тизерной сетью, поэтому знаю как накручивают трафик ботами или по заданию, поэтому решил внедрить такую возможность в систему. Не могу расписать все критерии оценки качества, так как ботоводы не спят) но если вкратце, то анализ учитывает:

Все эти критерии оцениваются в совокупности и выдается конечная оценки от 1 до 3: хорошее, среднее или сомнительное, и плохое.

Самые примитивные боты при скликивании рекламы сразу же закрывают сайт, поэтому такие клики можно отследить через редирект с задержкой, бот ждать загрузки не будет, и в статистике вы сразу увидите, что был сделан 1 клик, а переходов 0.

Проведя таким образом анализ, я был удивлен качеству трафика с некоторых популярных баннерных и тизерных сетей, то, что они сливают людям за деньги, удивительно, что они еще работают. Вот пример со статистикой за один день, я создал кампанию на popunder трафик с таргетингом на Россию, а в итоге мне еще США налили (хотя чему тут удивляться, это же попандер трафик):

Оповещение о переходах по ссылке

Можете указать условия при выполнении которых вы получите оповещение о переходах по ссылке:

Мониторинг сайта

На данный момент эта функция на доработке, так как сервис avscan.ru, через который производилась проверка, не обновляет свои базы.

Работает только мониторинг доступности сайта и изменений на нем, к примеру, если на сайте поменяется вдруг заголовок, вы получите уведомление.

Подстановка UTM

Базовый функционал для подобных сервисов, для удобного формирования меток для аналитики на вашем сайте. Плюс к тому же можно подставить макросы, вот полный список:

Страна, город и регион пока подставляются на английском, но я уже думаю над решением, чтобы подставлять на нужном языке, или языке пользователя, так как база с переводами есть.

Временная ссылка

Ограничить время жизни ссылки в часах, либо указать конкретную дату и время до которой ссылка будет работать.

Ограничение доступа к ссылке

Ограничить доступ к ссылке только для указанных стран, устройств, операционных систем и браузеров. При срабатывании будет показана заглушка, что ссылка более недоступна.

Двойная ссылка

Когда одной мало) В этом случае будет показана промежуточная страница, где пользователю нужно будет нажать на кнопку, после чего основная ссылка будет открыта на новой вкладке, а дополнительная в фоновой.

Доступ через контактные данные

Пользователь сможет получить доступ к ссылке только путем ввода и подтверждения своих контактных данных.

Сейчас доступен доступ через Email или SMS. В случае с смс, на балансе должен быть неснижаемый остаток в 1$, и каждое смс оплачивается отдельно, цены указаны тут, прайс взял от своего агрегатора smsc.ru, без наценок.

Планирую добавить также авторизацию через соцсети, тогда помимо email получится получить еще имя пользователя и другую информацию, в зависимости от соцсети, на данный момент самую широкую информацию предоставляет facebook по запросу..

Для email используется трекинг, так что пользователю даже не обязательно вводить номер, по прочтению будет понятно, что email верный.

Для смс действует ограничение на IP не больше 3х запросов в сутки.

Все полученные данные отображаются в личном аккаунте, и их можно одним нажатием экспортировать в Excel. Также подумываю сделать интеграцию с какой-то CRM, чтобы сразу туда отправлять данные, если на это будет спрос.

Роутинг

Данные настройки помогут распределять трафик в зависимости от параметров пользователя. Пользователей с ПК отправлять по одной ссылке, а мобильных устройств по другой и тд. При этом можно указать вес ссылки, это позволяет распределять переходы по ссылкам в зависимости от их приоритета.

Сокрытие изначальной ссылки или клоакинг

Тема серых кардиналов арбитража трафиком) Эта функция позволяет спрятать вашу изначальную ссылку от посторонних глаз, и перекидывать их на белую и пушистую страницу. В основном от так называемых спай-сервисов и других арбитражников, которые через эти спай-сервисы ищут новые прибыльные связки для слива трафика, и тот, кто пользуется клоакингом, хочет, чтобы его связка проработала как можно дольше только для него.

Доступна подгрузка страницы без редиректа, в этом случае страница скачивается и хранится в кэше, работает только в связке со своими или премиум доменами. К примеру, подгрузка http страниц возможна только на http доменах, тогда придется привязывать свой домен без генерации SSL, что система также позволяет сделать.

К возможности указать свои условия перенаправления доступны базовые фильтры:

Cuti фильтр буду периодически дополнять, пока там все подсети Google, Яндекс и Facebook и Вконтакте, что нашел в общем доступе.

Deeplink

Что такое диплинк? Это ссылка на приложение, то есть изначально такие ссылки ориентированы на пользователей мобильных устройств, для ПК пользователей предлагается альтернативный способ или скачать приложение на компьютер, как например с Viber.

На данный момент поддерживаются:

Если нужно что-то еще добавить, пишите в комментариях.

После добавления deeplink возник вопрос, а как мне теперь все мои ссылки объединить в одну, чтобы потом этой одной ссылкой делиться с пользователями?

Потом вспомнил про Taplink, подсмотрел дизайн их страниц и сделал на подобии.

На странице с моими ссылками я могу выбрать нужные мне ссылки и одной кнопкой объединить их в группу, более того, я могу сделать группу с группами ссылок.

По итогу получается страница, для которой можно настроить дизайн, загрузить лого, указать отдельные названия и описания ссылок.

Пример групповой ссылки - https://cuti.cc/group_test

Таким образом можно создать диплинки со своими страницами в соцсетях и контактами и объединить их в группу, затем полученную ссылку разместить в тех же соцсетях, чтобы вашим подписчикам было удобно с вами связаться.

А вы сможете отслеживать по статистике сколько пользователей перешло по ссылке и по каким контактам они переходили.

Помимо создания групповой ссылки из массовых функций доступно:

По поводу выбора формата получения списка я вспомнил про YouTube блогеров, у которых в описании под видео часто прописаны короткие ссылки с названиями в формате: ссылка - название, причем в названии часто используются emoji, поэтому я добавил везде при указании названия возможность подставить emoji из всплывающего блока.

Таким образом я как блогер могу выбрать нужные ссылки, получить их списком в нужном формате, и сразу вставить в описании видео.

Импорт ссылок

Импортировать ссылки можно списком или из файлов TXT, CSV, XLSX, ODS, XLS.

Есть мысли также добавить импорт ссылок из других похожих сервисов, или из канала YouTube, чтобы только добавленные видео автоматически по мониторингу добавлялись в систему, и пользователю в телегу приходило оповещение с готовой короткой ссылкой на видео, но пока только фантазии на этот счет.

Позже планирую добавить указание настроек для импортируемых ссылок.

Если вы хотите получить абсолютно уникальные ссылки, тогда есть возможность привязать свои домены с или без SSL. Для генерации сертификата используется Let’s Encrypt.

Можно выбрать свой домен по умолчанию, и затем, например, при создании ссылки через телеграм бота сразу получить короткую ссылку с вашим доменом, что довольно удобно.

Изначально я задумывал модель тарифов с лимитированным кол-вом кликов для каждого тарифа. Но что делать, когда пользователь превысит лимит? Отключать ссылки? Не вариант, поэтому я решил, что правильнее будет показывать рекламу всем переходящих по ссылкам пользователям, и таким образом окупать расходы на сервис, чтобы все остались в плюсе.

На данный момент для бесплатного тарифа доступно 5000 кликов в месяц, потом активируется промежуточная страница с рекламой и push подпиской, push подписки также отдельно монетизируется через рассылку push рекламы из другого моего сервиса 3xpush.com

Если рекламы для юзера нет, то тогда просто предлагается push подписка и такого юзера можно будет в дальнейшем монетизировать.

Когда кликеры (так я называю тех, кто переходит по ссылкам) делают клик по рекламе, то часть средств также начисляется владельцу ссылки, а также пользователю, который его привел, и тому, кто привел того пользователя, или проще говоря, действует 3-х уровневая реферальная система, опять же все в плюсе.

Также пользователь получает 15% от оплаты тарифа рефералами 1-го уровня.

По поводу тарифов будет указано ниже.

Еще во время работы над 3xpush.com я понял на сколько удобно бывает получать уведомления через бота, о новых тикетах, при логине в систему, других важных событиях, поэтому сразу решил, что на новом проекте также буду использовать этот инструмент, но мне всегда было интересно сделать управляющего бота, а не только для оповещений.

Сейчас @cuti_link_bot умеет:

Через бота приходят оповещения от мониторинга ссылок, от поддержки, отчет о переходах по ссылкам за день, неделю и месяц. Лично для меня удобно получать короткий отчет в конце дня по своим ссылкам, а не заходить в аккаунт и искать нужную информацию в статистике. Такой отчет позволяет не пропустить аномалию в виде резкого спада трафика по сравнению со вчерашним днем, когда до этого все было стабильно.

Самая сложная и рутинная часть работы, это агрегация и представление статистических данных, где было мной совершено больше всего багов. В моем понимании классическое представление статистики это таблица и график.

По графику можно сразу же моментально оценить динамику нужных метрик, по таблице провести сортировку и найти минимальные и максимальные показатели, на основе которых выявить различные отклонения.

На данный момент статистика состоит из 4-х разделов:

В общей статистике я решил вывести агрегированные данные по:

Не знаю насколько это было удачное решение, но очень напрашивается dropdown с выбором агрегированных данных для вывода.

В самом верху добавил 3 блока с основной информацией по трафику: клики, визиты, уникальность трафика, и его качество, которое отображается только для платных тарифов.

В статистике есть клики, визиты и переходы, в чем отличие? Клики - это все уникальные переходы по ссылкам, визиты - все повторные, переходы - переходы на конечный сайт. Если активирован анализ качества трафика, то по переходам можно будет отследить % потери трафика, если это были боты, так как они часто после клика сразу закрывают сайт.

Особенно доволен своей реализации вывода модального окна с дополнительной информацией по каждой метрике отдельно. К примеру, если нажать на конкретную дату в таблице то можно получить информацию за этот день с кликами по часам, и так по всем остальным агрегированным полям.

В самом модельном окне можно выбрать данные для отображения и сделать экспорт страницы в PDF или PNG.

В статистике по кликам можно увидеть подробную информацию по каждому клику, различные индикаторы позволяют также отследить повторные клики или клики без перехода на конечный сайт, в случае, если активирована промежуточная страница. Название источника, которое отслеживается по базе IP, Referer и User agent, то есть, если по ссылке совершит бот facebook, то это будет видно в стате.

Видно на какой сайт перешел, если используется роутинг.

Статистика по Subid активируется, если выбрана опция Subid анализ. В этом случае к вашей короткой ссылке можно добавить 3 дополнительных параметра.

Как это может применяться?

Если вы работете с покупным трафиком на биржах, то вам будет полезно знать качество трафика с каждого источника сети отдельно. Для этого большинство рекламных сетей позволяют использовать в ссылках макросы, которые заменяются на ID источника. Этот самый ID затем передается в сервис и по нему можно отдельно увидеть всю информацию о переходах. Дополнительно можно также передать номер кампании и объявления.

А вот тут и начинаются те самые нюансы. Поддержание безопасности ссылок является одним из ключевых факторов, который может повлиять на судьбу проекта в целом.

Google и Яндекс нещадно банят всю цепочку сайтов, которые ссылаются на вредоносные ссылки, таким образом накладывая ответственность на поддержание безопасности сети на всех ее участников, а не только на конечную точку распространения.

И если, к примеру, владелец сайта добавит нашу ссылку на своем сайте, а по этой ссылке вдруг ни с того ни с чего начнут распространяться вирусы, тогда заблочат нас и этот сайт.

В связи с этим каждая ссылка при добавлении и ежедневно по заданию проверяется в Google Safe Browsing.

И если ссылка блокируется, то:

Домен заблокированного сайта добавляется в черный список.

Также на подходе подключение Yandex Safe Browsing, судя по описанию их API, копия решения от Google.

В будущем при частых детектах вредоносных ссылок на аккаунте будет происходить блок аккаунта независимо от его тарифа.

Я вижу какие ссылки люди добавляют, и вижу что иногда добавляют фишинговые сайты, не хотелось бы становиться их пособником, потому буду ужесточать правила и внедрять свой анализатор контента сайта, чтобы сделать ссылки с cuti максимально безопасными.

Сейчас при переходе по ссылке с монетизацией, во время ожидания ссылки, конечный адрес проверяется через avscan.ru, по базам антивирусов, сервисам отзывов и прочим, и кликеру выводится предупреждение, если на сайте есть проблемы. Но так как база у проекта более не обновляется, то эта проверка не актуальна.

Второй проблемой является спам. Спам запрещен правилами проекта - https://cuti.cc/pages/show/rules . Добавление коротких ссылок в email рассылки приносит самые большие проблемы, так как начинают прилетать абузы моему хостеру, на прямые обращения я реагирую сразу и удаляю спам ссылки, пока за все время таких обращений было не больше 10.

Пополнить баланс и вывести средства пока можно двумя способами: WebMoney, Payeer. Минимальная сумма пополнения и для вывода: 5$

Заработать в проекте можно 2 способами:

Заказать выплату можно через сайт на странице Баланс, а также через telegram бота.

Выплаты производятся раз в неделю по понедельникам.

Потратить средства можно 3 способами:

К сожалению пока нет возможности подключить оплату картой или paypal, так как для этого требуется юр лицо, а его только недавно закрыл :) Но если будет спрос, то придется снова открыть и добавлять указанные способы пополнения.

Есть 4 тарифа:

Все отличаются по кол-ву доступных ссылок в аккаунте, кол-ву переходов в месяц и доступному функционалу.

Только для тарифа Premium доступна опция Скрытия ссылки и премиум домены.

Премиум домены - каждый домен распределяется максимум между 5 премиум пользователями, потом недоступен для выбора.

При оплате за год действует скидка 20%

В случае, когда подписка закончилась, платные функции при переходе по ссылке отключаются, а если превышен лимит кликов, то активируется показ рекламы.

Если вы хотите разместить свою рекламу на страницу ожидания ссылки, то есть 2 варианта:

Тизеры - это картинки и текст, выводятся вверху и внизу страницы ожидания. Backunder - это просто ссылка, которая открывается, когда кликер нажимает на кнопку “Перейти на сайт”, тогда на новой вкладке ему открывается основной сайт, а на фоновой ваш, по аналогии с работой двойной ссылки.

Из таргетов доступно:

Отдельно стоит выделить ключевые слова, в этом случае происходит сверка указанных слов с заголовком страницы, куда хочет попасть пользователь, в случае совпадения ваше объявление получает приоритет, можно указать не более 5 слов.

Цена за клик начинается от 0.01$

На данный момент было добавлено 13.500 ссылок, по которым ежедневно совершается в среднем 20.000 кликов, качество трафика - среднее.

По странам

США - 32%

Россия - 24%

Великобритания - 7.5%

По устройствам

smartphone - 63.2%

desktop - 23.5%

tablet - 6.1%

По брендам

Apple - 50.8%

Samsung - 29.4%

Xiaomi - 5.1%

По ОС

Android - 39.9%

iOS - 32.3%

Windows - 19%

По браузерам

Chrome Mobile - 30.8%

Mobile Safari - 30.6%

Chrome - 11.5%

По языкам

Английский - 71.1%

Русский - 17.6%

Кликов через прокси - 39.5%

По типам прокси

DCH (хостинг-провайдер) - 42.2%

VPN (анонимные VPN-сервисы) - 29.3%

PUB (публичные прокси) - 22.2%

Изначально проект продвигался только в контексте Google и Яндекс. Реклама проработала примерно 2 месяца, после чего сначала гугл отклонил по причине “вредоносное ПО” и “обход системы”, и позже Яндекс по причине:

“Реклама, привлекающая внимание к арбитражу трафика, не соответствует политике Яндекса.”

Странно, с учетом того, что реклама проработала столько времени, и столько раз повторно успешно проходила модерацию.

И получается, что на данный момент больше вариантов привлечения целевого трафика нет. Пробовал во Вконтакте таргетироваться на арбитражников, так тот и вовсе домен заблокировал, видимо потому, что у них есть свой сервис по сокращению ссылок и им не нужны конкуренты. Сейчас остался только Facebook, где трафика почти и нет по моим ставкам.

На данный момент расходы такие (за год):

Итого: 3847$

Свое время в расчет не беру, в среднем в день уделаю проекту около 3 часов.

Для меня текущий проект как учебный уже окончен, теперь только коммерческий интерес, и если сервис окажется полезным людям, тогда продолжу его развивать, если нет, то оставлю как есть и начну новый проект с новыми знаниями.

Из списка задач, что запланировано:

Благодарю, что дочитали до этого места!)

И в качестве благодарности дарю вам промо код: ZUKERMAN_POZVONIT

Он активирует Premium тариф на 1 месяц, и действует до 31.10.2021

Для активации промо кода авторизуйтесь на сайте, перейдите на страницу Тарифы, прокрутите вниз, выберите тариф, и в появившемся окне нажмите по ссылке “У меня есть промокод”.

Успехов!