[Projects] Аналитика каналов, чатов и «Персональный цифровой склад»

Привет, %username%! У себя в телеграмм-канале я иногда делюсь своими мыслями, опытом, наблюдениями и прочими полезностями. И вот совершенно неожиданно для себя я решился таки на довольно странную авантюру: я задумал реализовать два проекта, которые решают две конкретные боли-задачи для меня, а возможно и еще кому-то пригодятся.

О каждом из проектов я написал кратко у себя в канале, а тут попробую расписать сразу обе идеи в более развернутом виде. Вдруг найдутся те, кто заинтересуется в разработке или использовании какого-либо из проектов.

Кратко о проекте написал у себя в канале, а тут попробую описать более развернуто.

Данную идею я вынашиваю уже очень давно, но все никак не добирался до ее реализации. Теперь я понял одно – надо делать иначе никогда не сделаю.

Общая концепция проекта следующая:

1. Бот-модератор для чата;

2. Аналитика активности чата;

3. Аналитика активности канала;

4. Авторизация через Телеграмм;

5. Отложенные посты в канал. Редактор не принципиален, главное чтоб можно было вставить готовый Markdown (где его писать я всегда найду);

6. Бэкенд на FastAPI. Мне кажется для написания бэка нового проекта это оптимальный выбор;

7. Фронт на VueJS/React или что там сейчас считается нормальным/классным/стильным/модным/молодёжным;

Знаю, что для аналитики уже придумано 100500 различных сервисов вроде того же TGStat, которым я на текущий момент пользуюсь довольно активно для парочки своих каналов. В целом я рассматриваю вариант интеграции с тем же TGStat, но в качестве дополнительного внешнего источника данных статистики. Плюсом хотелось бы иметь возможность построения отчетов по статистике каналов и чатов – например графики в виде картинок с возможностью отправить их прямо в телегу.

Бот-модератор – относительно тривиальная задача, но я хочу иметь возможность добавлять его в определенные чаты и подключать эти чаты через админку сервиса. Тут как мне кажется все довольно просто и очевидно – имея большой парк чатов в собственном распоряжении добавлять в них своего бота не так уж и сложно. А получать бонусом к модераторскому функционалу еще и аналитику по своим чатам – мне кажется очень хорошей идеей. А почему бы и да?

Наверняка у читающего возникнет на фоне фраз «аналитика и отчеты» мысль, что «будут сохранять сообщения и записывать их в базу и хранить до прихода товарища майора». Дабы приструнить твоего параноика, сразу хочу сказать, что функционал сбора сообщений не планируется и даже не рассматривается — мне это не интересно и я категорически против такого функционала. А вот сделать аналитику активности в чате (кто и сколько пишет, как часто пишут, какие часы/дни недели самые активные) и модератора с преферансом и куртизанками — это для меня очень интересно.

Сбор данных по каналам так же довольно незатейлив – интересуют просмотры постов, когда/куда и каким постом поделились (в публичные или не публичные чаты/каналы).

Пока это всего лишь идея проекта, которую я очень хотел бы реализовать. Первые наброски я уже начал делать и пока это все будет жить в закрытом репозитории на GitHub. Я мечтатель и вдруг у меня все получится, а сервис станет востребованным у других пользователей Telegram. В таком раскладе можно будет и подписочную модель прикрутить – оплата через тот же самый Telegram вполне себе решение.

Об этом проекте я тоже недавно рассказал у себя в канале. А сейчас немного мыслей вслух и размышлений на тему паранои, слежки, трекинга.

Слежка и трекинг предполагается не за сотрудниками (вспомни кейс Xsolla), а за самим собой. Да – ты прочитал всё совершенно правильно. Я имею ввиду трекинг своей персональной активности.

Идею трекинга своей активности мне в очередной раз подкинул Интернет в виде видосика с YouTube-канала ТОТАЛЬНАЯ СЛЕЖКА = ИДЕАЛЬНАЯ ТЮРЬМА — ТОПЛЕС.

Начну прям совсем издалека. Я не первый год слежу за выступлениями Григория Бакунова. И в его выступлениях иногда проскальзывают высказывания о том, что он собирает о себе всю информацию включая статистику нажатия на клавиши клавиатуры и отправленные email’ы.

В упомянутом выше видео есть человек, которого взяли под наблюдение АНБ. Дабы избежать «монополии на информацию» со стороны Агентства, данный персонаж сделал публично доступный сайт на котором отображалась вся информация о его перемещениях. Цель простая и странная одновременно: если все будут знать где я нахожусь, значит ни у кого не будет монополии на данную информацию.

Оба эти кейса мне кажутся очень интересными, правда я пока не планирую делать историю своих перемещений и запросов в Google публичным достоянием. А вот собирать о себе максимум информации – я бы очень хотел.

Я хочу сделать сервис для себя, который будет собирать информацию обо мне. На текущий момент у меня в распоряжении несколько сервисов трекинга времени за ноутбуком и телефоном и вполне себе можно собирать всю информацию о трате своего времени на девайсах через имеющиеся у сервисов API. Единственное чего во всех сервисах не хватает, это общего дашборда с аналитикой. Сервисов несколько, у каждого свои плюшки, но я бы хотел собрать с них информацию в единственном месте.

Дополнительно к информации о времени проведенном в приложениях я бы хотел агрегировать у себя информацию из сервисов Google: посещенные местоположения, запросы в поисковик – все что можно вытащить из Google. Я не рассматриваю другие поисковики, потому что я ими не пользуюсь, но вполне себе могу представить дополнительную интеграцию с тем же Яндексом.

В процессе обсуждения данной задумки в моем канале я нашел еще несколько сервисов, интеграции с которыми я бы очень хотел реализовать. Одним из таких сервисов можно назвать Open mHealth, который позволяет работать с медицинскими данными. Агрегация данных по своему здоровью меня интересует сейчас довольно остро, т.к. мне уже не 16 лет, да и здоровье уже расшатано.

Сейчас я ищу возможность выгрузки данных по всем своим обследованиям в клинике Медси в формате CDA (Clinical Document Architecture, архитектура клинического документа). Альтернативой можно рассмотреть другие клиники, которые могут предоставлять информацию в требуемом формате.

Дополнительно я уже наткнулся на некоторые наработки по импорту информации из Apple Health (да я сижу на яблочной технике) и было бы очень хорошо автоматизировать экспорт данных из приложения «Здоровье» в тот же промежуточный XML для последующего импорта в разрабатываемую систему.

Думаю общая идея этого проекта понятна, а аккумулировать наработки я буду в отдельном репозитории cybernopticum, который доступен всем и каждому для изучения.

Я понимаю, что оба описанных проекта не являются чем-то сверхновым или «каким-то идеологическим прорывом». Единственная и первостепенная цель обоих проектов – решить конкретные проблемы конкретного человека. Дополнительные цели, которые я ставлю перед собой ввязываясь в данные проекты:

- Обрести коммерческий опыт работы с GitHub, который я активно ищу;

- Сделать большую систему с нуля, пройдя все боли, которые обязательно встретятся на пути;

- Спроектировать облачные инфраструктуры для обоих проектов, как со стороны «сколько и каких серверов надо», так и с точки зрения безопасности, хранения, передачи данных (а данные в первую очередь там будут жить мои и для меня это большой вызов);

Если ты прочитал эту статью полностью, то спасибо тебе огромное! А если у тебя возникли вопросы, комментарии и/или замечания – заходи в мой Telegram-чат @jtprogru_chat и мы сможем обсудить насколько все это реализуемо. Ну и подписывайся на мой Telegram-канал @jtprogru_channel, где я пишу немного чаще, чем где бы то ни было.