реклама
разместить

О чём писали на vc.ru, TJ и DTF

В этом году я редко читал vc.ru, ещё реже TJ и совсем не читал DTF. Сложилось ощущение, что я выпал из информационного потока и вообще не в курсе, что произошло за этот год. А ещё в этом году я открыл для себя Python.

Короче, мне захотелось взять популярные статьи и превратить их в облако слов, чтобы быстро понять, о чём целый год писали популярные сайты.

Процесс

Сначала я хотел собрать все заголовки всех записей за год, но при парсинге sitemap.xml я понял, что сто тысяч страниц будут парситься очень долго. Поэтому я решил собирать только самые популярные статьи за год.

Парсинг заголовков и описаний занял пару вечеров. Ещё один вечер ушёл на попытки собрать из всего этого вороха слов какое-то внятное облако. В процессе стало понятно, что слова нужно нормализовать.

Результат

​Самые употребляемые на vc.ru слова: «компания», «год», «рубль», «миллион», «тысяча»
​Самые употребляемые на vc.ru слова: «компания», «год», «рубль», «миллион», «тысяча»
​Самые употребляемые на TJ слова: «человек», «год», «соцсеть», «история», «россия»
​Самые употребляемые на TJ слова: «человек», «год», «соцсеть», «история», «россия»
Самые употребляемые на DTF слова: «игра», «фильм», «год», «история», «кодзима»
Самые употребляемые на DTF слова: «игра», «фильм», «год», «история», «кодзима»

Бонус: «Медуза» и «Хабр»

Пока я разбирался с нормализацией и библиотекой для построения облаков, незаметно для меня завершился парсинг «Медуза» и «Хабра». Так что в картинках ниже — все заголовки за 2019 год.

​Самые употребляемые слова: «россия», «дело», «москва», «человек», «сша»<br />
​Самые употребляемые слова: «россия», «дело», «москва», «человек», «сша»
Самые употребляемые слова: «данные», «помощь», «работа», «система», «приложение​»
Самые употребляемые слова: «данные», «помощь», «работа», «система», «приложение​»
3737
реклама
разместить
22 комментария

Комментарий недоступен

16

Николай, звучит как классная идея. Аналитика и визуализация для тех, кто не очень шарит в программировании. 
Но облако слов очень специфичная штука, надо что-то другое.

Если будет реквест на что-то — сделаю)

3

И у нас можно было бы описать, для таких материалов есть подсайт «Разработка»: https://vc.ru/dev

1

Какой смысл данного анализа? Анализ ради анализа? Скучный результат получился.

7

Какой смысл вашего комментария? Комментарий ради комментария? Скучный результат получился.

21

Биг дата же. Хоть и за один год.

1

Слушайте, а DTF кто-то читает? Попробовал, там лютый трэш в комментариях, на игровых форумах такого количества неадекватов нет.

5
Раскрывать всегда
Apple отключит сквозное шифрование в iCloud для пользователей в Великобритании

После новостей о требовании местных властей предоставить доступ к зашифрованным данным пользователей iCloud по всему миру.

Источник: Apple / The Verge
1212
1010
22
11
11
Кровавое Mi-6 или это другое?
реклама
разместить
Лидерство в экстремальных условиях: чему фильм «Челюсти» может научить руководителей

Акула-людоед уничтожила репутацию курортного городка. Плохой менеджмент может сделать то же самое с вашим проектом

Лидерство в экстремальных условиях: чему фильм «Челюсти» может научить руководителей
2929
22
HP установила обязательное 15-минутное ожидание на телефонной линии техподдержки — а через три дня отменила изменения из-за критики

Производитель компьютерной техники хотел сократить количество обращений.

Источник фото: Kozhikode Directory
3131
55
11
Бесят боты в поддержке
«Аэрофлот» запустит прямые рейсы на китайский Хайнань из Санкт-Петербурга, Казани и Уфы

На фоне роста турпотока из России.

88
Ozon начнёт удерживать с продавцов расходы на услуги курьеров, если покупатель не принял заказ или отменил его, когда курьер был в пути

Раньше продавец оплачивал «последнюю милю» — доставку до ПВЗ, постамата или в руки — только при успешной покупке или возврате.

Источник фото: РБК
88
33
11
Продавцы в свою очередь заявили, что они и не продавцы вовсе, а лица, предоставляющие услуги по передаче товаров на бартерной основе покупателям, тем самым уверяют, что к ним данная комиссия не относится. Ozon они рекомендовали заняться поиском тех самых продавцом, к которым они собрались применять комиссию.
Молитва в один клик: как «Зосима» завоюет свою долю на красном рынке отечественных мессенджеров?

В статье разбираемся, как проект планирует занять свою долю рынка, зачем вообще миру нужен православный мессенджер и сможет ли он не утонуть в море конкурентов.

<i>Наша фантазия о том, как могут выглядеть иконки внутри приложения.</i>
1010
«У нас электричество заканчивается»: директор по развитию ИИ «Яндекса» предупредил о нехватке энергии для обучения моделей

Эксперты отмечают, что дефицит может возникать в некоторых регионах, но проблем с производством электричества в стране нет.

Фото ТАСС
6060
88
11
Если Абхазии даром энергию не отдавать, то и Яндексу хватит. Хотя чего это я? Лучше Абхазии даром, а россиянам тариф повысить.
[]