О чём писали на vc.ru, TJ и DTF

В этом году я редко читал vc.ru, ещё реже TJ и совсем не читал DTF. Сложилось ощущение, что я выпал из информационного потока и вообще не в курсе, что произошло за этот год. А ещё в этом году я открыл для себя Python.

Короче, мне захотелось взять популярные статьи и превратить их в облако слов, чтобы быстро понять, о чём целый год писали популярные сайты.

Процесс

Сначала я хотел собрать все заголовки всех записей за год, но при парсинге sitemap.xml я понял, что сто тысяч страниц будут парситься очень долго. Поэтому я решил собирать только самые популярные статьи за год.

Парсинг заголовков и описаний занял пару вечеров. Ещё один вечер ушёл на попытки собрать из всего этого вороха слов какое-то внятное облако. В процессе стало понятно, что слова нужно нормализовать.

Результат

​Самые употребляемые на vc.ru слова: «компания», «год», «рубль», «миллион», «тысяча»
​Самые употребляемые на vc.ru слова: «компания», «год», «рубль», «миллион», «тысяча»
​Самые употребляемые на TJ слова: «человек», «год», «соцсеть», «история», «россия»
​Самые употребляемые на TJ слова: «человек», «год», «соцсеть», «история», «россия»
Самые употребляемые на DTF слова: «игра», «фильм», «год», «история», «кодзима»
Самые употребляемые на DTF слова: «игра», «фильм», «год», «история», «кодзима»

Бонус: «Медуза» и «Хабр»

Пока я разбирался с нормализацией и библиотекой для построения облаков, незаметно для меня завершился парсинг «Медуза» и «Хабра». Так что в картинках ниже — все заголовки за 2019 год.

​Самые употребляемые слова: «россия», «дело», «москва», «человек», «сша»<br />
​Самые употребляемые слова: «россия», «дело», «москва», «человек», «сша»
Самые употребляемые слова: «данные», «помощь», «работа», «система», «приложение​»
Самые употребляемые слова: «данные», «помощь», «работа», «система», «приложение​»
3737
реклама
разместить
22 комментария

Комментарий недоступен

16

Николай, звучит как классная идея. Аналитика и визуализация для тех, кто не очень шарит в программировании. 
Но облако слов очень специфичная штука, надо что-то другое.

Если будет реквест на что-то — сделаю)

3

И у нас можно было бы описать, для таких материалов есть подсайт «Разработка»: https://vc.ru/dev

1

Какой смысл данного анализа? Анализ ради анализа? Скучный результат получился.

7

Какой смысл вашего комментария? Комментарий ради комментария? Скучный результат получился.

21

Биг дата же. Хоть и за один год.

1

Слушайте, а DTF кто-то читает? Попробовал, там лютый трэш в комментариях, на игровых форумах такого количества неадекватов нет.

5