Лого vc.ru

TOP.ST — агрегатор популярных материалов СМИ

TOP.ST — агрегатор популярных материалов СМИ

Сегодня за «Трибуной» — сервис TOP.ST, который собирает и ранжирует популярные материалы различных СМИ. Передаём микрофон.

Поделиться

Всем привет! Меня зовут Вадим Барышев, мне 27 лет, я разработчик. Программированием занимаюсь всю свою сознательную жизнь. Это и работа, и хобби, и развлечение. Так уж вышло, что это приносит мне удовольствие. Поэтому в свободное от работы время я занимаюсь превращением своих идей в рабочие проекты. Об одном из таких проектов хочу сегодня расскаать уважаемым читателям.

Я люблю читать новости. Каждый день в сети появляется множество новых публикаций. Какие-то остаются незамеченными, другие « взрывают» интернет, путешествуя в виде ссылок по мессенджерам, социальным сетям и другим каналам общения. Это может быть новость о политике, красивое фото, публикация о научном открытии, которое изменит мир или знаковое событие.

Сервис, который я хочу представить вашему вниманию, занимается поиском публикаций, набирающих популярность, в режиме реального времени.

Встречайте: TOP.ST. Идея рейтингового агрегатора не нова. На рынке уже существуют подобные проекты, как успешные, так и не очень. Я сам довольно долгое время пользовался несколькими похожими продуктами, но в каждом находилось что-то, что меня отталкивало. Так родилась мысль реализовать своё видение данной концепции.

А видел я это так: простой, красивый, удобный адаптивный интерфейс. Ничего лишнего. Возможность работы в разных странах. Хорошая скорость поиска и ранжирования новых публикаций. Знаю, звучит абстрактно, но дьявол, как обычно, в мелочах. Те кто, разрабатывает проекты от идеи до конечного продукта, сталкивались с тем, как кажущиеся на первый взгляд простые вещи разрастаются в довольно серьёзные проблемы при более глубоком их рассмотрении.

Во время работы над проектом пришлось решать довольно много не простых, но в то же время очень интересных задач. Время меня не поджимало, поэтому я старался максимально следовать плану, применял новые для себя технологии, не боялся начинать с нуля задачи, решения которых с первого подхода заводили меня в тупик. Было интересно. И результатом я доволен, хотя много работы ещё впереди.

Естественно, проект не может нравиться всем. Я это понимаю и не жду 100% положительных откликов. Тем, кто любит настраивать свои ленты новостей, фильтровать категории, добавлять свои источники, функциональности проекта может показаться мало. Целевая аудитория — те, кто хочет получить готовую подборку публикаций. Просто, быстро, без регистрации и смс. Сайт одинаково хорошо выглядит на планшетах и телефонах, поэтому с удобством проблем возникать не должно.

Единственное — устройство и браузер должны быть современными. Сайт не будет работать в IE8 или Opera mini, так как на дворе 2015 год. Дизайн я переделывал полностью несколько раз, пока он не стал нравиться мне самому. Для меня это была не простая задача, потому что я не дизайнер, но люблю, когда интерфейс выглядит и работает безупречно. Надеюсь, что мои усилия в этом направлении не прошли напрасно.

Моментом, когда стоит показать проект публике, я выбрал то время, когда я сам полностью откажусь от других источников подбора публикаций, которыми пользовался до этого, и буду черпать информацию исключительно при помощи своего сервиса. Сейчас этот момент настал.

Сайт стал участником программы Microsoft BizSpark, за что им отдельное спасибо. Это очень помогает проекту развиваться, так как для обработки, анализа и ранжирования данных нужны значительные вычислительные ресурсы и широкий канал. Облако Azure, предоставленное в рамках программы, позволило сосредоточиться на разработке и не думать о размещении.

На данный момент сервис мониторит публикации в 28 странах. Интерфейс переведён на 10 языков, язык выбирается на основе настроек браузера. Сейчас я работаю над улучшением алгоритма поиска и ранжирования публикаций, добавлением новых стран и стабилизацией работы текущей системы.

Планов много, какие из них будут реализованы, покажет реакция публики. Не исключено, что концепция будет немного меняться. Пока то, что я вижу в Google Analytics, мне очень нравится. А это самое главное, когда проект завоёвывает внимание людей. Всего на создание текущей версии у меня ушло три месяца вечеров и выходных, около 200 литров чая и несколько тысяч поглаживаний кота.

Спасибо за внимание.


Возвращаем микрофон читателям.

Хотите получить в руки микрофон и рассказать о своем стартапе? Добро пожаловать за трибуну.

Статьи по теме
Анонс рубрики: «Стартапы»17 марта 2014, 12:15
взлётная площадка
для интернет-бизнеса
Получить инвестиции
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

Как программист программисту расскажите пожалуйста, как происходит процесс сбора информации? Как парятся заголовки, источники? Спасибо.

Там где есть - RSS, там где нет, парсинг страниц. Алгоритмы потихоньку допиливаются для максимальной автоматизации. Вообще о разработке нужен будет отдельный пост. Возможно появится на хабре через какое-то время.

0

Не совсем понял из контекста, хорошо это или плохо?

0

Герман Клименко владеет mediametrics.ru, вашим конкурентом.

0

По моему отличный проект. Было бы вообще супер, если можно было бы подписаться на выбор, или на рассылку самых популярных новостей за день или на рассылку самых популярных новостей за неделю.

Спасибо за отзыв. По поводу рассылки меня спрашивали уже не раз. Честно, не думал что фича настолько востребована. Возможно потому что сам подобным пользуюсь крайне редко. Но учитывая интерес к ней, скорее всего она всё же появится.

0

Cейчас посмотрел популярные новости за неделю, и один источник показывается вот так - tvzvezda.ru/login.user?back=%2fnews%2fvstrane_i_mire%2fcontent%2f201504041446-4a16.htm
То есть требует авторизации. Честно говоря нет никакого желания регистрироваться в данном источники, чтобы иногда в нем открывались статьи.

0

Проблема в том, что на время публикации статьи и попадании её в рейтинг, она вполне существует. Но некоторые СМИ выкладывают непроверенную и откровенно жёлтую информацию. Она набирает популярность (считай трафик), а когда статья своё "отработает" - скрывают её. Я в процессе поиска ээфективного способа вовремя избавляться от таких публикаций.

Кстати, было бы не плохо вообще отказаться от парсинга желтушных изданий типа tvzvezda.ru , одни их заголовки чего стоят "США готовят вторжение в Крым", "Доллару осталось жить 60 дней", "Марк Цукерберг закрывает Facebook в России" и прочий бред. Честно говоря такое читать даже не хочется. Как смотрите на то, чтобы эту желтизну вычищать из своего сервиса?

Данное издание отключил. Действительно, они вышли за рамки, спасибо за внимательность. Я целиком за чистоту информации. Но тут только ручная модерация и отзывы пользователей. В общей куче не всегда возможно вовремя увидеть кандидата на отсев.

Это радует. В отличии от mediametrics.ru ваш проект мне видится более гибким. Удачи в развитии! Время от времени буду к вам заходить :) Кстати, как на счет монетизации, она планируется в дальнейшем?

0

Монетизировать конечно хочется. Но не хочется утыкивать проект баннерами ведущими непонятно куда в духе Adsense или Яндекс-директа. Серый заработок в виде "как-бы естественного" вывода проплаченных постов в топ я тоже не рассматриваю. Реклама прямой продажи на качественные продукты со специальной пометкой в ленте - кажется не плохой идеей (в духе твиттера). Но опять же, это что-то не то. Вообще размещение любой рекламы это всегда компромисс между доверием пользователей и необходимостью окупаемости затрат на бесплатный сервис. Пока затраты не так высоки, чтобы стояла жесткая необходимость быстро начать их окупать, поэтому есть время подумать и принять правильное решение. Ну и немаловажную роль играет то, как проект будет принят аудиторий, до этого времени нет смысла "делить шкуру неубитого медведя". Основной мой посыл в том, что не хочется портить впечатление людей о проекте способом его монетизации.

Сам никогда бы не думал что буду читать рассылки, а вот подписался на meduza, и по вечерам интересно почитать, что было за день.

0

Сервис новый и баги есть, но я бы хотел не на этом заострить внимание, а на том, как прекрасен текст этой статьи. Вадим, не знаю, как долго вы писали и редактировали свой текст для ЦП, но это лучшее, что я читал из всей рубрики "Трибуна". В 2015-м важно не только иметь современный браузер, но и уметь лаконично и доходчиво излагать свои мысли.

Спасибо, очень приятно. Статью написал ночью, когда понял, что пора. Просто люблю, когда всё выглядит хорошо, в том числе и текст.

0

Принципиально не увидел отличия от сайта top.buzznet.ru/, и от mediametrics.ru.

Buzznet, конечно только на РФ заточен, но наверное для аудитории РФ это плюс.

Идея действительно одна. Это проекты с одной целевой аудиторией. Разница в реализации. Я знал про эти проекты (и не только эти), когда разрабатывал свой. Дело в мелочах. В том как это выглядит, как это работает, как формируется рейтинг и в каком направлении проект будет развиваться. Мой проект не то чтобы "убийца" кого-то из существующих проектов. Это скорее альтернатива, другой подход. Кому-то он понравится больше, кому то меньше, но в целом конкуренция всегда двигает нишу вперёд. Я делал его так, чтобы он нравился мне больше других.

Сделать разделы "позитивные" и "негативные" новости, ну и соответственно монетезировать более популярный раздел!

Кстати. Мы говорим про популярные новости. В популярных новостях есть один минус - эти новости просто берут на эмоции или чем то цепляют. Есть понятие актуальные новости, а есть есть понятие популярные. И мы забываем про качественную аналитику например, про новости, которые действительно актуальны и важны, но они не популярны. Что если сделать разделы, в которых будет список самых важных новостей (а не популярных). Список нужных статей, а не популярных... В общем это пока мысли, даже не знаю, можно ли такие алгоритмы составить, просто описал то, что мне хотелось бы.

У меня есть несколько прототипов алгоритмов, которые строят рейтинг лучше чем сейчас. Но они пока не готовы к продакшену, т.к. на реальных данных работают не оптимально в плане нагрузки на железо. Простыми словами - не умеют делать свою работу достаточно быстро. Проблема решаема и это вопрос времени. По сути всё сводится к сбору максимально возможного набора открытых данных и быстрому их анализу. Процесс тормозится тем, что данным проектом я занимаюсь в своё свободное время, т.к. работаю на фултайм.

Кстати, еще идея. Ни у одного проекта я не увидел, чтобы популярные новости делились по категориям. Было бы не плохо это также сделать. То есть мне не интересны новости про здоровье и искусство в принципе, но я хотел бы смотреть только раздел IT, бизнес и экономика. Такого нигде пока нет, но это было бы реально кстати.

Некоторые пробуют сделать, но выглядит пока не очень. Я тоже пробовал и тоже получил результат не очень. Поэтому пока не ввёл. Понятно, что руками все новости не пометить. Источники тоже содержат новости в большинстве случаев вперемешку. Парсить категории с каждого источника занятие очень накладное. Тут было бы круто использовать что-то вроде наивного байесовского классификатора. Я смотрю в этом направлении. Но там своих подводных камней тоже не мало. Его нужно сначала хорошо обучить (а это создаст большой массив данных и само по себе не быстро), а потом быстро его применять. И это нужно сделать для разных языков. В общем задача тоже интересная, но требует хорошей проработки.

Сервис очень понравился, но не хватает возможности следить вне сайта за новостями. Соц сети, в которые добавляются ссылки на новости, которые попадают в топ100. Мне не так интересно наблюдать какая статья на каком месте, а хочется просто знать популярные новости в сети.

Спасибо за оценку. Через некоторое время появятся приложения для мобильных устройств. Социальные сети в планах есть, но чуть позже. Выше предлагают ещё сделать email рассылку, этот вариант тоже рассматриваю.

0

Хотелось бы вручную фильтровать некоторые сми (выключать просто), т.к. к некоторым изданиям нет доверия и, соответственно, желания принимать от них любую информацию.

Хорошо бы возможность персонально исключать нежелательные источники. Например пропаганда раша тудей, вести, лайфньюз и т.д.

Кастомизация подборок потребует регистрации и довольно сильного изменения архитектуры. Для начала нужно понять, на сколько сильно эта возможность будет востребована у пользователей.

0

Или тогда сделать просто два списка СМИ: федералы и оппозиция) И принимать рекомендации по включению в тот или иной список какого либо СМИ.

0

Внешне мне проект очень понравился - чистый, аккуратный. Но лично я не совсем понял его ценность. Он ведь не транслирует свежие новости, т.е. в режиме реального времени, а по неведомой формуле показывает "популярность".

Вот например за неделю самыми популярными оказалась новость про какие то ошибки в СМС и про бюст Ленина (она кстати сегодняшняя). О чем это? Что это даёт человеку?

Формулы ещё не доведены до идеала, я вижу косяки, в скором времени подборка улучшится, когда решу проблему с производительностью новой формулы. Тем не менее, то что сейчас в топе, примерно отражает то, что нравится людям. Проект всё же "мейнстримный", данные собираются с открытых источников, поэтому бывает так, что то, что вылезает наверх какой-то части людей может быть не понятно, не интересно, т.к. это находится вне зоны их интересов. Как разграничить интересы? Тут уже нужна будет кастомизация, как предлагают в двух комментариях выше. Сейчас я смотрю, как люди принимают проект и исходя из этого буду планировать, в какую сторону развиваться. Идей много, как своих, так и предлагаемых пользователями. Просто нельзя бросаться сразу на всё, нужно для начала чётко определить для какой публики работать. Нельзя сделать сервис, который будет нравиться абсолютно всем.

Внешне мне проект очень понравился - чистый, аккуратный. Но лично я не совсем понял его ценность. Он ведь не транслирует свежие новости, т.е. в режиме реального времени, а по неведомой формуле показывает "популярность".

Вот например за неделю самыми популярными оказалась новость про какие то ошибки в СМС и про бюст Ленина (она кстати сегодняшняя). О чем это? Что это даёт человеку?

Вадим, ну а ценность то проекта в чем? Я не в том смысле что он бесцельный, но вот я например вижу больше социологическую ценность, чем какую-то новостную.

Этот рейтинг это же не лайки условно, на одной площадке. Это какой-то сводный индекс, который не понятен, а во вторых, простому человеку это зачем? Вот я зашёл и узнал что ошибки в СМС имеют рейтинг 100500 за неделю - что с этим знанием делать?

...вы уж не обижайтесь на мои вопросы )))

Тут скорее вопрос должен звучать ни "в чём?", а "для кого?". Ценность понятие субъективное. Очевидно, что люди которые любят приколы в духе "ошибки Т9" будут очень рады прочитать этот пост. Статистика говорит, что таких людей очень много. Это не значит, что они составляют 100% аудитории. Но это даёт возможность оценить масштабы. Если проматать список чуть ниже, можно найти там статьи тематика которых вряд ли будет востребована у посетителей о которых я написал выше.
И тут я вижу несколько путей: либо пытаться разделить этот контент на категории, чтобы меньше раздражать людей тем, что им не нравится, либо сосредоточиться на какой-то определённой аудитории, выпиливая всё, что ей не подходит, либо добавить возможность кастомизации, чтобы каждый себе собирал ленты, которые его интересуют, либо не делать ничего, тогда посетитель увидев не интересный ему заголовок просто читает следующий. Учитывая способ построения рейтинга, ему вряд ли придётся идти далеко, чтобы найти что-то интересное для себя. Обязательно что-то попадётся.
Касательно длительных рейтингов (неделя, месяц) я мало уделял им внимание во время разработки, для них формулу нужно будет подправить и скорее всего это уберёт перевес статей, которых по логике там быть не должно. Основное тестирование на скорость и точность быстрых разделов. По статистике в них сидит 95% посетителей сайта, в длительные рейтинги смотрят мало. Поэтому они ждут своей очереди на доработку.
На вопросы я не обижаюсь, нормальные вопросы. Стараюсь давать нормальные ответы.

0

А на основании чего ранжируются новости? Объединение новостей в сюжеты есть?)

0

Собираются и анализируются данные из открытых источников, такие как лайки в соцсетях, различные рейтинги, клики пользователей. Дальше формулами на основе новых и старых данных рассчитываются рейтинги. Данных собирается очень много, поэтому есть некоторые проблемы с производительностью улучшенных формул, которые я планирую в скором времени ввести. Объединение в сюжеты в планах, это будет перевалочный пункт на пути к автоматической категоризации. Я пока смотрю в сторону наивного байесовского классификатора, изучаю возможность его реализации на этих данных. Задача предстоит не самая простая, но думаю, что решаемая. Главное чтобы стимул был, поэтому жду реакции первых пользователей на текущую версию проекта.

0

Посмотрел проект, мои предложения.
- сделать описание проекта на сайте чуть поярче, добавьте раздел about
- нужен инструмент для возврата пользователя, - email рассылка, соц сети, rss - подписка. Хоть что-нибудь. Retention - это основа роста. Без этоготпервые пользователи зайдут, посмотрят и уйдут, а затем забудут, даже если им проект понравился.

- добавить персонализацию. Любимые категории, возможность убрать из выдачи неинтересные издания. Дать возможность пользователю самому выбирать интересные ему ресурсы, чтобы сервер показывал подборку популярных только с этих сайтов.
я не знаю, если в России что-нибудь подобное, но звучит интересно. Так что я бы наоборот смотрел в сторону персонализацию, в первую очередь мне бы хотелось видеть популярные статьи и новости, которые могут быть интересны ЛИЧНО МНЕ.

- поправить верстку на сафари iPhone 4s, очень неудобно свайпать в вебе.

- уменьшить количество стран и языков, например до двух - Россия и Сша. Лучше сконцентрироваться на тех языках и странах, внутреннюю кухню которых вы знаете хорошо, тем более если сейчас вы работаете один и ресурсов у вас немного.

Очень конструктивно и полезно, спасибо. Что-то из этого уже обдумываю, до чего-то просто руки ещё не дошли. Я в целом согласен со всем вышеупомянутым.
По поводу iPhone 4s можно подробнее? Я тестировал на iPod touch 5 iOS7 и iPhone 6 iOS8. На них всё нормально. iPhone 4s смотрел на симуляторе, не заметил ничего выходящего за рамки.
По поводу уменьшить количество стран - не уверен пока. Я рассматривал это как вариант роста в ширину. Проблемы с некоторыми странами есть, но выглядят они решаемыми.

0

Рассказ и комментарии автора 10 баллов! Хорошо написано!

>Я сам довольно долгое время пользовался несколькими похожими продуктами, но в каждом находилось что-то, что меня отталкивало.

en.wikipedia.org/wiki/Not_invented_here

0

Проект очень интересный, спасибо. У меня конкретный вопрос: какие новости попадают в раздел "сейчас"? "Час", "день", "неделя", "месяц" – это понятно. А вот, что такое это неуловимое "сейчас" я затрудняюсь в принципе описать. И что даёт информация из этого раздела?

Спасибо.

0

В раздел сейчас попадают новости активность по которым происходит в интервале 10-20 минут в зависимости от её наличия. Этот раздел должен быстро выявлять самое "горячее".

0

Спасибо, понятно.

0

Одна целевая аудитория это кто? Подобные проекты интересны с точки зрения поиска попсовой информации. У вас пока поиска нет да и еще много чего интересного mediametrics.ru

0

Интерфейс сервиса и подбор материала отличные. Единственное, чего не хватает, это настройка по городу.

Задействовать бы мегаполисы. Прирост и ЦА сразу бы взлетели.

0

По поводу городов согласен. У меня есть наработки в этом направлении, но пока ещё не готово к релизу, требуют корректировки формул. Чем уже аудитория, тем сложнее правильно ранжировать статьи. Фича появится, но сроки пока тяжело назвать.

Добавил ваш проект в закладки. Буду ждать обновлений.

А по ранжированию можно пойти от кол-ва просмотров статьи, но выбор зависит от конечной ЦА. Новостникам подойдет, а вот более в узких сферах метод не сработает. Как вариант, кучу надстроек сделать, но боюсь, что концепт и фишка уйдут в таком случае.

0

То есть, вы сделали такой себе Яндекс.Новости?

0

Раз уж мы начали обобщать, получается я сделал такой себе сайт. А если серьёзно, у TOP.ST и Яндекс.Новости общего только что и там и там новости. Есть проекты гораздо более "близкие по духу", чем Яндекс.Новости. Я занимаюсь своей интерпретацией данной идеи. Она не нова, но это не значит, что пользователям уже предложили всё, что только можно пожелать. Проект только начал свой путь, ещё многое впереди.

0

Проект понравился. Ничего лишнего, всё довольно лаконично, этого как раз порой и не хватает некоторым новостным порталам. Удачи Вам!)

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Денис

В две смены, либо в разных часовых поясах нанять людей. Например Екатеринбург, Владивосток. Люди также работают удалённо из дома.

«Компания без офиса — не для каждого»
0
Vladislav Kharchev

а почему они не дают записи смотреть на своем сайте?

Многие передачи, или все передачи, как у первого канала?

Через инет-плееры - а за это придется платить? Или там реклама неотключаемая? Можете ссылку на инет-плеер BBC?

Ну и я говорил про CNN, а не про какой-то там ITV.

«Первый канал» ухудшил качество видео на своем сайте для пользователей с блокировщиками рекламы
0
Yurist
INSPORT.pro

Может, они имели в виду какие-то не российские рубли?

Сотрудников ищут «Сбербанк Технологии», Creative Mobile, «ИЦБТ» и «Сделано»
0
Дмитрий Горкун
Okean Digital

Барная лицензия и вперед. Что мешает?

«Подделки принесли нам 1,5 миллиона рублей за два месяца»
0
Leo Vl

В статье нет ни одной цифры (кроме цифры 9 у Falcon), одни эмоции. Это не научпоп, а сектанство какое-то.

«Элон Маск полетит на Марс, хочет он того или нет»: сотрудник Dauria Aerospace о планах по колонизации Марса
0
Показать еще