Робот-человек
Nikola всё
Uber для охраны
iPhone 16e
Смартфон Huawei с 3 экранами
Аниме: Улицы разбитых фонарей
Рикша Hyundai

О чём писали на vc.ru, TJ и DTF

В этом году я редко читал vc.ru, ещё реже TJ и совсем не читал DTF. Сложилось ощущение, что я выпал из информационного потока и вообще не в курсе, что произошло за этот год. А ещё в этом году я открыл для себя Python.

Короче, мне захотелось взять популярные статьи и превратить их в облако слов, чтобы быстро понять, о чём целый год писали популярные сайты.

Процесс

Сначала я хотел собрать все заголовки всех записей за год, но при парсинге sitemap.xml я понял, что сто тысяч страниц будут парситься очень долго. Поэтому я решил собирать только самые популярные статьи за год.

Парсинг заголовков и описаний занял пару вечеров. Ещё один вечер ушёл на попытки собрать из всего этого вороха слов какое-то внятное облако. В процессе стало понятно, что слова нужно нормализовать.

Результат

​Самые употребляемые на vc.ru слова: «компания», «год», «рубль», «миллион», «тысяча»
​Самые употребляемые на vc.ru слова: «компания», «год», «рубль», «миллион», «тысяча»
​Самые употребляемые на TJ слова: «человек», «год», «соцсеть», «история», «россия»
​Самые употребляемые на TJ слова: «человек», «год», «соцсеть», «история», «россия»
Самые употребляемые на DTF слова: «игра», «фильм», «год», «история», «кодзима»
Самые употребляемые на DTF слова: «игра», «фильм», «год», «история», «кодзима»

Бонус: «Медуза» и «Хабр»

Пока я разбирался с нормализацией и библиотекой для построения облаков, незаметно для меня завершился парсинг «Медуза» и «Хабра». Так что в картинках ниже — все заголовки за 2019 год.

​Самые употребляемые слова: «россия», «дело», «москва», «человек», «сша»<br />
​Самые употребляемые слова: «россия», «дело», «москва», «человек», «сша»
Самые употребляемые слова: «данные», «помощь», «работа», «система», «приложение​»
Самые употребляемые слова: «данные», «помощь», «работа», «система», «приложение​»
3737
реклама
разместить
22 комментария

Комментарий недоступен

16

Николай, звучит как классная идея. Аналитика и визуализация для тех, кто не очень шарит в программировании. 
Но облако слов очень специфичная штука, надо что-то другое.

Если будет реквест на что-то — сделаю)

3

И у нас можно было бы описать, для таких материалов есть подсайт «Разработка»: https://vc.ru/dev

1

Какой смысл данного анализа? Анализ ради анализа? Скучный результат получился.

7

Какой смысл вашего комментария? Комментарий ради комментария? Скучный результат получился.

21

Биг дата же. Хоть и за один год.

1

Слушайте, а DTF кто-то читает? Попробовал, там лютый трэш в комментариях, на игровых форумах такого количества неадекватов нет.

5
Раскрывать всегда
реклама
разместить
Apple отключит сквозное шифрование в iCloud для пользователей в Великобритании

После новостей о требовании местных властей предоставить доступ к зашифрованным данным пользователей iCloud по всему миру.

Источник: Apple / The Verge
1010
66
22
11
11
Кровавое Mi-6 или это другое?
Приглашаем на GoCloud 2025

Увидеть масштаб облаков и AI на нашей главной конференции про облачные технологии и искусственный интеллект. Встречаемся онлайн и офлайн в Москве в четверг, 10 апреля.

Приглашаем на GoCloud 2025
22
HP установила обязательное 15-минутное ожидание на телефонной линии техподдержки — а через три дня отменила изменения из-за критики

Производитель компьютерной техники хотел сократить количество обращений.

Источник фото: Kozhikode Directory
2828
55
11
Бесят боты в поддержке
«Аэрофлот» запустит прямые рейсы на китайский Хайнань из Санкт-Петербурга, Казани и Уфы

На фоне роста турпотока из России.

77
Ozon начнёт удерживать с продавцов расходы на услуги курьеров, если покупатель не принял заказ или отменил его, когда курьер был в пути

Раньше продавец оплачивал «последнюю милю» — доставку до ПВЗ, постамата или в руки — только при успешной покупке или возврате.

Источник фото: РБК
77
33
11
Продавцы в свою очередь заявили, что они и не продавцы вовсе, а лица, предоставляющие услуги по передаче товаров на бартерной основе покупателям, тем самым уверяют, что к ним данная комиссия не относится. Ozon они рекомендовали заняться поиском тех самых продавцом, к которым они собрались применять комиссию.
Аргументы ЗА и ПРОТИВ лизинга недвижимости для физических лиц

Лизинг недвижимости - классный инструмент, благодаря которому самые разные категории клиентов с разными жизненными обстоятельствами могут приобрести собственное жилье, не имея всей суммы наличными в моменте Но, как и у любого продукта, у него тоже есть свои плюсы и минусы, основные моменты перечислены в этом посте 👇🏽

Аргументы ЗА и ПРОТИВ лизинга недвижимости для физических лиц
«У нас электричество заканчивается»: директор по развитию ИИ «Яндекса» предупредил о нехватке энергии для обучения моделей

Эксперты отмечают, что дефицит может возникать в некоторых регионах, но проблем с производством электричества в стране нет.

Фото ТАСС
5757
88
11
Если Абхазии даром энергию не отдавать, то и Яндексу хватит. Хотя чего это я? Лучше Абхазии даром, а россиянам тариф повысить.
[]