Поиск закономерностей в статистических данных
Эта статья рассказывает о том, как быстро обнаружить и использовать сотни и тысячи закономерностей в огромном массиве статистических данных.
Сегодня накопилось много статистических данных, в которых требуется найти закономерности. Этому и посвящён данный материал. Технология, о которой мы говорим, называется «поиск закономерностей в статистических данных». Некоторые аспекты этой технологии перекликаются с нейронными сетями, например, подготовка данных для обработки.
Вы можете ознакомиться с работой данной технологии, скачав демо-версию по предоставленной ссылке в конце статьи.
В видео подробно описывается, как работает эта технология на конкретном примере. Процесс продемонстрирован от начала и до конца, с тщательными пояснениями. В качестве иллюстрации была выбрана задача поиска закономерностей в статистических данных по биржевой торговле за 16 лет.
Теперь давайте обсудим саму технологию. Решение этой задачи можно разделить на три этапа.
- Сбор данных.
- Анализ и обработка данных, выявление закономерностей -алгоритмов.
- Применение готовых алгоритмов для решения конкретных задач.
Сбор данных
У нас есть статистические данные, которые перед обработкой необходимо подготовить. Эта технология работает в двоичной системе, то есть использует принцип «да» или «нет», «0» или «1». Для этого в данных нужно задать различные условия и определить, выполняются они или нет. Если условие выполняется, то значение равно 1, если нет — то 0. В видео подробно показано, как подготавливаются данные для последующей обработки. В результате мы получаем таблицу, готовую к обработке.
Анализ и обработка данных, выявление закономерностей - «алгоритмов»
Затем мы настраиваем параметры и обрабатываем таблицу, чтобы выявить закономерности, которые далее называются алгоритмами. В видео показано, как можно проанализировать каждый алгоритм и понять принцип его работы. В зависимости от количества статистических данных и заданных настроек, которые мы установили, мы можем получить тысячи алгоритмов.
Существует несколько подходов к использованию алгоритмов.
1. Формирование пакета алгоритмов с заданной вероятностью работы.
2. Использование полного пакета черновых алгоритмов для получения вероятности успешной работы объекта на основе статистических данных.
3. Можно из большого объема статистических данных вырезать куски, выявить в них алгоритмы, которые эффективно работают с этими данными. Затем можно отобрать только те алгоритмы, которые качественно работают со всеми статистическими данными и формировать из них черновой пакет.
4. Также можно исследовать, анализ весов и взаимосвязи между различными характеристиками.
Выбор подхода к решению задачи зависит от того, какую задачу нужно решить.
Скачать демо версию можно по ссылке.