О чём писали на vc.ru, TJ и DTF
В этом году я редко читал vc.ru, ещё реже TJ и совсем не читал DTF. Сложилось ощущение, что я выпал из информационного потока и вообще не в курсе, что произошло за этот год. А ещё в этом году я открыл для себя Python.
Короче, мне захотелось взять популярные статьи и превратить их в облако слов, чтобы быстро понять, о чём целый год писали популярные сайты.
Процесс
Сначала я хотел собрать все заголовки всех записей за год, но при парсинге sitemap.xml я понял, что сто тысяч страниц будут парситься очень долго. Поэтому я решил собирать только самые популярные статьи за год.
Парсинг заголовков и описаний занял пару вечеров. Ещё один вечер ушёл на попытки собрать из всего этого вороха слов какое-то внятное облако. В процессе стало понятно, что слова нужно нормализовать.
Результат
Бонус: «Медуза» и «Хабр»
Пока я разбирался с нормализацией и библиотекой для построения облаков, незаметно для меня завершился парсинг «Медуза» и «Хабра». Так что в картинках ниже — все заголовки за 2019 год.
После новостей о требовании местных властей предоставить доступ к зашифрованным данным пользователей iCloud по всему миру.
Даже если украденные деньги не вернут.
Акула-людоед уничтожила репутацию курортного городка. Плохой менеджмент может сделать то же самое с вашим проектом
Производитель компьютерной техники хотел сократить количество обращений.
Раньше продавец оплачивал «последнюю милю» — доставку до ПВЗ, постамата или в руки — только при успешной покупке или возврате.
В статье разбираемся, как проект планирует занять свою долю рынка, зачем вообще миру нужен православный мессенджер и сможет ли он не утонуть в море конкурентов.
Эксперты отмечают, что дефицит может возникать в некоторых регионах, но проблем с производством электричества в стране нет.
Комментарий недоступен
Николай, звучит как классная идея. Аналитика и визуализация для тех, кто не очень шарит в программировании.
Но облако слов очень специфичная штука, надо что-то другое.
Если будет реквест на что-то — сделаю)
И у нас можно было бы описать, для таких материалов есть подсайт «Разработка»: https://vc.ru/dev
Какой смысл данного анализа? Анализ ради анализа? Скучный результат получился.
Какой смысл вашего комментария? Комментарий ради комментария? Скучный результат получился.
Биг дата же. Хоть и за один год.
Слушайте, а DTF кто-то читает? Попробовал, там лютый трэш в комментариях, на игровых форумах такого количества неадекватов нет.