О чём писали на vc.ru, TJ и DTF

В этом году я редко читал vc.ru, ещё реже TJ и совсем не читал DTF. Сложилось ощущение, что я выпал из информационного потока и вообще не в курсе, что произошло за этот год. А ещё в этом году я открыл для себя Python.

Короче, мне захотелось взять популярные статьи и превратить их в облако слов, чтобы быстро понять, о чём целый год писали популярные сайты.

Сначала я хотел собрать все заголовки всех записей за год, но при парсинге sitemap.xml я понял, что сто тысяч страниц будут парситься очень долго. Поэтому я решил собирать только самые популярные статьи за год.

vc.ru

За год — бизнес, технологии, идеи, модели роста

Парсинг заголовков и описаний занял пару вечеров. Ещё один вечер ушёл на попытки собрать из всего этого вороха слов какое-то внятное облако. В процессе стало понятно, что слова нужно нормализовать.

Самые употребляемые на vc.ru слова: «компания», «год», «рубль», «миллион», «тысяча»

Самые употребляемые на TJ слова: «человек», «год», «соцсеть», «история», «россия»

Самые употребляемые на DTF слова: «игра», «фильм», «год», «история», «кодзима»

Пока я разбирался с нормализацией и библиотекой для построения облаков, незаметно для меня завершился парсинг «Медуза» и «Хабра». Так что в картинках ниже — все заголовки за 2019 год.

Самые употребляемые слова: «россия», «дело», «москва», «человек», «сша»<br />

Самые употребляемые слова: «данные», «помощь», «работа», «система», «приложение»

#python

О чём писали на vc.ru, TJ и DTF

Процесс

Результат

Бонус: «Медуза» и «Хабр»