Прогнозирование движения котировок с применением нейронных сетей

Данная статья будет в большей степени интереса тем, кто занимается созданием автоматизированных инвестиционных систем, инвестиционных советников и иных подобных средств автоматизации, а также в некоторой степени для тех, кто создаёт торговых роботов и различных торговых советников.

Введение

Ранее я уже писал статью по поводу применения нейронных сетей в торговле на фондовых рынках. Если кому-то интересно, то данную статью можно прочитать здесь.

Эта статья (по прогнозированию), согласно моему плану должна быть одной из ряда статьей по применению нейронных сетей для различных целей и задач при создании универсальной автоматической торгово-инвестиционной системы. По ряду причин, данные статьи в определённой степени будут упрощены, однако, они должны сформировать представление о технологиях, перспективах, эффективности и ряде других вопросов при применении нейронных сетей.

Приветствуется здоровая критика, приправленная аргументами и доказательствами.

Целеполагание

Мы с вами живём в капиталистическом мире, и не будем друг друга обманывать. Каждый инвестор хочет заработать побольше, но при этом рисковать поменьше. Но как это сделать?? Как определить куда нужно вложить деньги??

Особенно с учетом того, в мире тысячи различных финансовых инструментов. И из всего этого огромного количества вам нужно выбрать то, что даст наибольшую доходность.

Рис. 1. Куда пойдут котировки? Тикер, ASRT

Есть такие инструменты анализа данных, которые обобщенно называются «предиктивной аналитикой». Приведу одно из определений из интернета:

«Предиктивная аналитика (от англ. predictive analytics — предсказательная аналитика) — методология анализа данных, используемая для прогнозирования будущих событий.» (с)

Есть множество подходов к решению данной задачи, но всю мощь математических методов в данной статье мы рассматривать не будет. В данной статье основным инструментарием будут нейронные сети.

Подход к решению задачи

Логика решения данной задачи следующая. Для каждого финансового инструмента нам нужно получить прогноз канала движения котировок на достаточно значительном промежутке (всё таки мы рассматриваем инвестиционные процессы, а не торговлю, поэтому в качестве цели поставим прогноз до 1 года.)

Рис. 2. Условное обозначение прогнозируемого канала, который нам нужно получить.

Основа канала – прогнозируемый вектор движения котировок (рис. 2, жёлтая линия). Относительно вектора движения сами границы канала можно строить по разному. В нашей статье мы будем рассматривать ATR каналы. Хотя, я здесь сделаю замечание, что вы можете руководствовать своей логикой и выбрать другие виды каналов.

После того, как нейронные сети получат каналы для всех финансовых инструментов и оценят относительно амплитуды каналов их доходность, можно приступать к выбору наиболее доходных из них.

Нейронные сети

В данной статье решение задачи предиктивной аналитики было выполнено с применением MLP нейронных сетей. Хотя решить данную задачу можно и на LSTM нейронных сетях. Для получения обобщенной модели и уменьшения переобучаемости использовали регуляризацию и дропаут. В процессе обучения контролировали точность по среднеквадратическому отклонению (рис. 3).

Рис. 3. Пример показателей среднеквадратического отклонения для обучающей и тестовой выборок

В данной статье предиктивный анализ будет вестись только по данным биржевых котировок. Однако, я здесь же хочу заметить, что делать данный анализ можно и комплексно на основании технико-фундаментальных факторов.

Объем датасета: 10 лет биржевых данных для каждого инструмента.

Датасет делился на 3 части:

- Тестовая выборка: порядка 1 года.

- Обучающая выборка: порядка 8 лет.

- Предиктивная выборка: порядка 1 года.

Все данные выборки были жёстко разделены, данные не пересекались.

Для каждого инструмента получали результаты расчёта для обучающей и предиктивной выборки. Тестовая выборка в расчёте не участвовала и использовалась только для контроля процесса обучения.

Для каждого расчёта получали расчётные вектора движения котировок, а также медленное EMA и ATR для расчёта канала.

Результаты расчётов можно скачать здесь.

Финансовые инструменты

Финансовые инструменты были выбраны случайным образом. Вот перечень тикеров данных финансовых инструментов: UMPQ, HRZN, PENN, SCVL, SIFY, SSYS, GIII, ASRT, AXON, KRNY, OESX, FULT, RIGL, CDXC, CHCI, SMSI, SBGI, TTEC, WTFC, LAMR, LPSN, MNSB. Всего 24 инструмента.

Данный портфель является сильно разнородным. Там есть как растущие акции (рис. 4).

Рис. 4. График котировок, EMA и расчётного вектора движения котировок для AXON

Есть падающие акции (рис. 5).

Рис. 5. График котировок, EMA и расчётного вектора движения котировок для SSYS

А есть акции с боковиком и сильной волатильностью (рис. 6).

Рис. 5. График котировок, EMA и расчётного вектора движения котировок для SCVL

Мне видится, что если и тестировать системы, то так, чтобы было интересно. На разнородных инструментах с непредсказуемым результатом. Что было больше адекватности и реализма.

Методика оценки результатов

В ходе исследований контролировали следующие показатели:

- Точность определения тренда исходя из времени прогноза.

Рис. 6. Пример верного определения тренда на всём промежутке, тикер UMPQ, 130 дней прогноза

Рис. 7. Пример неверно определённого тренда, тикер WTFC, 263 дня прогноза

На рисунках 6 и 7 показаны два разнородных прогноза. В одном случае прогноз верен на 100%, а в другом случае его точность стремиться к 0. Разумеется есть частично верные прогнозы, их точность оценивали по доле времени верного определения тренда.

- Точность прогноза исходя из доли инструментов с положительной доходностью.

Рис. 8. Пример результатов расчёта доходности.

Как видно из рис. 8, не все прогнозируемые инструменты в боевых условиях показали положительную доходность. В данном случае доходность оценивали как отношению прибыльных инструментов к общему числу инструментов.

- Потенциальная максимальная доходность прогноза.

- Реальная текущая доходность расчётного периода.

Рис. 9. Потенциальный убыток (красные линии) и реальный убыток (зеленые линии), тикер PENN, прогноз 263 дня

К слову говоря, на данном рисунке также видно, как вектор движения котировок частично верно определён.

Результаты

Как я уже сказал, графики результатов можно скачать здесь. Я приведу на некоторые из них. Обработанные данные результатов можно скачать здесь.

Первое, что я хотел бы сказать, это дальность прогноза.

Взгляните на картинку ниже.

Рис. 10. Прогноз движения котировок на срок до года, тикер UMPQ

Очень низкие показатели точности. А теперь взгляните на картинку ниже.

Рис. 11. Прогноз движения котировок на срок до года, тикер UMPQ

Нейронная сеть очень чувствительна к количеству данных. Если мы берём датасет, и из него выкидываем большие куски данных, то нейронная сеть не может толком обучиться и адаптироваться к текущей ситуации. Подобное наблюдается на всех исследуемых финансовых инструментах.

Если брать консолидированные показатели точности прогноза, то для шестимесячного прогноза средний показатель точности оставляет 71,49%, а для годового прогноза этот показатель уже 27,93%.

В результатах экспериментальных исследований есть данные по обоим видам прогноза, однако как вы видите из данных, к сожалению нейронная сеть не позволяет делать статистически значимые прогнозы на большом промежутке. Однако, для наших целей и пол года тоже не плохо.

Следует понимать, что для длительных целей нужен непрерывный контроль и предиктивный анализ инструмента с учётом постоянной адаптации нейронных сетей к изменяющимся условиям.

Также следует сказать и о причинах. Если мы в статье рассматриваем предиктивную аналитику только с точки зрения технического анализа, то сами принимаемые решения многообразны. Значительную часть из инструментов принятия решения занимает фундаментальный анализ. Банально, вышла слабая отчётность и инструмент ушёл в коррекцию. Это не спрогнозировать никакими техническими анализами. Поэтому, единственный вариант это комплексное принятие решений, но в данной статье мы рассматриваем лишь небольшой кусочек этого решения. Другой стороной вопроса могут быть и иные процессы, суды, хайпы и разгон на новостях, кризисы и много чего еще. Ранее я писал статью об использовании сентиментного анализа. С идеями этого анализа вы можете ознакомиться здесь.

Также я бы хотел обратить внимание на другой момент. Взгляните на рисунок ниже.

Рис. 12. Расчёт вектора движения (оранжевая линия) и EMA 200 (зелёная линия) для тикера UMPQ

Как вы видите из рисунка, вектор движения рассчитанный нейронной сетью являются опережающим по отношению к EMA, и в этом плане он является более предпочтительным в качестве фильтра тренда. Да, есть рассогласование на дальних прогнозах на предиктивной выборке, однако оно незначительно на близких прогнозах, и с учётом постоянной адаптации всегда будет весьма релевантным.

Также обратите внимание, что используется EMAбольших периодов, так как мы здесь рассматриваем именно инвестиционные процессы, а не отработку волатильности.

Доходность

Рис. 13. Результаты расчёта

Взгляните на потенциальные и реальные доходности при прогнозе на 6 и 12 месяцев. В прогнозах на длительном промежутке времени очень много ошибок. Потенциально доходные инструменты показывают убыток и наоборот. Казалось бы потенциально убыточные активы показывают рост. Тем не менее, точность увеличивается с уменьшением дальности прогноза.

В качестве примера доходности возьмём инвестицию в лонг со stoploss и без.

Рис. 14. Доходность в лонг без стоп лосс на прогнозе в 130 дней

Рис. 14. Доходность в лонг со стоп лосс = 10% на прогнозе в 130 дней

Сравнивая доходность портфеля при прогнозе до полугода без предиктивной системы и с предиктивной системы то мы получаем следующее. Реальная доходность в боевых условиях на данном промежутке времени составляет -1,12% (то есть, мы имеем убыток). Но при этом, мы можем повысить доходность до +5,44 и +8,42% без стоп лосс и со стоп лосс соответственно. Опять же замечу, что это доходность за пол года. Приводя к годовому выражению, доходность может быть порядка +11% и +17%, что в случае со стоп лосс является весьма неплохим результатом на таком ужасном портфеле.

Теперь 2 слова о рисках.

Если на длительном промежутке система прогнозирования не уменьшала, а увеличивала риски, то совершенно иная картина при прогноза на более короткой дистанции. Взгляните сами.

Рис. 15. Потенциально и реально убыточные позиции в прогнозе на 130 дней

Из 24 инструментов были детектированы 4 убыточные позиции, они и оказались таковыми в реальности. Справедливости ради стоит отметить, что не все убыточные позиции были определены.

Лишь 12 из 18 позиций при торговле в лонг были доходными (67% точность), и соответственно 6 убыточных позиции не были детектированы.

Рис. 16. Убыточная позиция CDXC при прогнозе на 130 дней

Давайте взглянем на рис. 16 и самую убыточную позицию при торговле лонг на данном портфеле при прогнозе на 130 дней. Как мы видим рисунка. Где-то треть времени прогноз был верен. В данном случае следует понимать, что если вы постоянно адаптируете ваши нейронные сети к изменяющимся условиям, то у вас нейронная сеть покажет изменение тренда (рис. 17).

Рис. 17. Изменение тренда на убыточной позиции CDXC при прогнозе на 130 дней

Да, вы может быть не закроетесь со значительной прибылью, но вас по крайней мере не будет убытка в 30+ %.

Фундаментальные причины прогноза

Следует понимать почему всё, что описано выше работает. Главная причина того, что всё это можно использовать – инерционность рынка. Торговых и инвестиционных систем превеликое множество. И многие из них оторваны от фундаментальных факторов. Кто-то торгует и инвестирует по EMA. И имеет на это право. Как я показал в предыдущей статье, стратегии на EMA имеют право на существование. А если и иные алгоритмы, в том числе основанные на системе предиктивной аналитики. И все они инерционны и взаимно тащат друг друга.

Принятие решений

Системы предиктивной аналитики не являются достаточным условием эффективного принятия решений по торговле и инвестированию. На мой взгляд, всё работает в комплексе, когда вы взвешенно подходите к принятию решений на основании множества факторов.

Выводы

1. Системы предиктивной аналитики могут стать как поддержкой и опорой в принятии решений, так и источником инвестиционных сигналов.

2. Прогнозы на длительном промежутке весьма не точны, и если есть возможность, то лучше снизить дальность обозримого промежутка.

3. Нейронные сети очень чувствительны к данным. Их должно быть достаточно для качественного обучения.

4. Системы предиктивной аналитики не являются достаточным условием, но являются необходимым. Эффективное принятие решений в инвестициях невозможно без фундаментального анализа, но тем не менее технический анализ очень важен, особенно в условиях отрыва рынка от финансовых показателей.

5. Системы предиктивной аналитики имею значительные перспективы во всём. И в торговых и инвестиционных алгоритмах, и во всех сферах жизни. Бизнес, маркетинг, инженерия, производство и все остальные отрасли во всём их многообразии.

Два слова о себе. Я являюсь основателем стартапа по предиктивной аналитике международных финансовых рынков на базе нейронных сетей finprophet.com. Мне интересна тематика автоматизированного принятия решений по торговле и инвестированию, в том числе с применением нейронных сетей. Считаю, что за этой технологией будущее. Если у кого то будет желание пообщаться, можно писать мне здесь или по контактам, указанным ниже.

Контакты:

Всех благ, побед и

успехов на фондовых

рынках!

0
49 комментариев
Написать комментарий...
Александр Полевой

С каких пор скам-проектам разрешено рекламироваться на ВЦ.ру?

А эта псевдо-финансовая статья - просто праздник какой-то, давно не видел такой дикой смеси невежества и желания это невежество выставить на показ.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

Не понял, где вы увидели рекламу?? Статья о технологии, а не каком-то проекте. Я ни у кого не беру денег, не занимаюсь инфоциганством, никому ничего в статье не продаю. Где вы увидели Скам?? Вы можете показать и аргументировать свою позицию??

Более того, на мой взгляд, культурные люди не оскорбляют публично других на пустом месте.

Если вам есть что сказать, то вы можете это аргументированно написать. Привести доказательства и прочее. Но я не думаю, что вы это сделаете. Я думаю, что доказательств ваших слов никто не увидит в комментариях.

Ответить
Развернуть ветку
Александр Полевой
Ответить
Развернуть ветку
Александр Полевой
Не понял, где вы увидели рекламу??

Серьезно? Т.е. ссылка на ваш скам-сайт - это не реклама?

Статья о технологии

В вашей статье не описано какой-либо технологии. Ваша статья - набор каких-то графиков и заявлений, что часть из них была якобы получена с помощью некой нейросети. Ничего конкретного в ней не описано.

Я ни у кого не беру денег,

Вы продаете подписку на своем скам-сайте, обещая "High forecast accuracy reaches 98%.", что очевидно является ложью и скамом.

Более того, на мой взгляд, культурные люди не оскорбляют публично других на пустом месте.

На мой взгляд, нет никаких оснований проявлять "культурность" по отношению к скамерам типа вас.

Ниже скриншоты вашего сайта - на них очевидно скамерский лендинг с фейковыми отзывами и обещанием золотых гор.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

1. Да, у меня есть стартап. И я не вижу ничего плохого в том, чтобы делать бизнес.

2.Если бы вы прочитали статью, то заметили. Что ссылка на мой стартап из всех двух десятков страниц находится в самом низу. Я не пиарю себя, проект. Не призываю ничего покупать. Не продвигаю что-то. Я рассматриваю технологию и не более того.

3. Если вы взрослый человек, то взрослые люди ведут себя культурно и не бросаются голословными обвинениями. Вы привели скриншоты из проекта. И что?? Это является доказательством чего-то??

Более того, если вы не заметили. То у меня любой совершенно БЕСПЛАТНО! может воспользоваться проектом ничего не покупая. Любой может проверить, протестировать и решить для себя нужно ему что-то или не нужно.

В чём скам, я не понял?? В том, что я бесплатно даю людям возможность попробовать??

Это моё последнее вам сообщение. Очевидно, что вы настроены агрессивно и не адекватно.

Нормальные люди, когда критикуют, аргументируют свои слова.

+ хочу заметить, что вы пишите про что-то совершенно другое. Если вы не заметили, то в статье описана технология. Но вы не обсуждаете технологию. Вам хочется просто безосновательно оскорбить человека. Не более того.

Всего вам наилучшего.

Ответить
Развернуть ветку
Александр Полевой
В чём скам, я не понял??

Советую вам перечитать мой комментарий. Я даже подскажу где:

Вы продаете подписку на своем скам-сайте, обещая "High forecast accuracy reaches 98%.", что очевидно является ложью и скамом.
Ответить
Развернуть ветку
Аполлон Степанов
Автор

Советую вам научиться культуре и адекватности ведения диалога.
Вы можете доказать, что это число ошибочно?? Я пока от вас слышал только гневные комментарии и оскорбления. Не более того.

Взгляните на статью. Я в процессе написания статьи для описания и объяснения своей позиции привёл большое количество данных и примеров.

Вы же не аргументированно привели число, и считаете, что это ложь. Докажите это. Пока, кроме скриншота вы ничего не предоставили.

Более того, если бы вы посмотрели на результаты исследований. То, нейронная сеть в данной статье точность определния вектора движения котировок доходит до 100%.

Вот пример на картинке снизу, который подтверждает мои слова.

Но я вас понимаю. Зачем читать статью?? Зачем разбираться?? Зачем искать доказательства и попытаться что-то понять. Можно ведь просто взять и голословно оскорбить человека на пустом месте.

Это мой последний вам ответ. Всего наилучшего.

Ответить
Развернуть ветку
Valentin Budaev
Вы можете доказать, что это число ошибочно??

Вы тестируете стратегию на данных, скоррелированных с обучающей выборкой. Я так могу безо всяких нейронных сетей.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

В данной статье нет торговой стратегии. В данной статье рассматривается предиктивная аналитика.

Ответить
Развернуть ветку
Valentin Budaev

Не важно.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

Важно, вы говорите о торговой стратегии, которой нет и в помине. Торговая стратегия рассматривалась в другой статье. Там была совершенно другая логика и механизм принятия решений. И там тоже не было скореллированных данных. Вы мне не верите, это ваше право. Но я вам скажу откровенно. Вы просто не понимаете как формируются датасеты.

Но самое главное ДАЖЕ не это. Самое главное - это практические результаты. Если на практике нейронная сеть работает, то важно только это.

Я приводил данные расчёта на совершенно для совершенно разных активов. ETF, валютная пара, криптовалюта. Всё это не входило в обучающую выборку.

Вы вам привел данные по тому же OXY и AAPL. И говорите что это скоррелированые активы, когда они даже в разные стороны направлены просто немыслимо. Ровно как и касательно других активов. Каждый временной ряд уникален. Каждая последовательность уникальна.

А вообще, принято доказывать свои слова. Это вы утверждаете про скореллированность активов. Докажите это. Мне просто не хочется прямо сейчас делать корреляционный анализ. Но вы, как утверждающий, можете это доказать.

Ответить
Развернуть ветку
Valentin Budaev
Если на практике нейронная сеть работает, то важно только это.

Но вы не показали, что ваша сеть может решать задачи прогнозирования. Вы показали лишь то, что она сумела выделить скрытые корреляции в пересекающихся по временному интервалу рядах - не более того.

А вообще, принято доказывать свои слова. Это вы утверждаете про скореллированность активов.

Нет, в науке это не работает. Если вы хотите что-то доказать - то эта ВАША задача исключить любые моменты которые могут поставить под сомнение результат. Это ВАША задача доказать что ряды не скоррелированны или просто убрать эти ряды из рассмотрения - что гораздо проще сделать, но вы этого сделать не хотите. Ведь тогда и сеть ваша результат давать перестанет резко. и вы это сами четко осознаете. Поэтому вместо того чтобы привести доказательства того, что ваша сеть будет работать в этом случае - вы ведете пространные рассуждения на тему.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

"Но вы не показали, что ваша сеть может решать задачи прогнозирования. Вы показали лишь то, что она сумела выделить скрытые корреляции в пересекающихся по временному интервалу рядах - не более того."

В смысле??

Вот вам пример. Прогноз и реальные данные, которые НЕ входили в обучающую и тестовую выборки.

Вы говорите об отсутствии эффективности, но почему я вижу что данные прогнозирования совпадают с боевыми данными??

Я не понимаю вашей логики. Вы говорите что сеть не эффективна, но при этом она показывает результат. Где логика??

Ответить
Развернуть ветку
Valentin Budaev
В смысле??

В прямом смысле.

Прогноз и реальные данные, которые НЕ входили в обучающую и тестовую выборки.

Но интервал времени ведь входил?
Еще раз - ваша сеть показывает результат _только_ из-за скрытых корреляций в пересекающихся по времени рядах. Если вы уберете пересечение - ваша сеть перестанет работать (иными словами, ваш метод неприменим в реальности, т.к. мы не может обучить сеть на будущих данных).
Что вы, впрочем, и сами уже знаете прекрасно - именно поэтому и не выкладываете результат нормальных тестов.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

"Но интервал времени ведь входил?"

Вы русский язык понимаете или нет?? Я вам уже 500 раз написал, что НЕ ВХОДИЛ. Сколько и как мне вам еще это написать, чтобы вы поняли??

Ответить
Развернуть ветку
Valentin Budaev

окей

- Тестовая выборка: порядка 1 года.
- Обучающая выборка: порядка 8 лет.
- Предиктивная выборка: порядка 1 года.

Какие конкретно данные входили в каждую из выборок? По годам?

Ответить
Развернуть ветку
Аполлон Степанов
Автор

2011 - тестовая.
2012 - 2020 - обучающая.
2021 - прогноз.

Я же в статье написал, что данные не пересекаются, сколько раз мне писать одно и то же??

Вы говорите о на столько примитивных вещах, и тупо не слышите то, что я вам говорю.

Ответить
Развернуть ветку
Valentin Budaev
Я же в статье написал, что данные не пересекаются

Так вы сами себе противоречите, сами же выше сказали, что все "как в прошлой статье". А там данные пересекались.

Тогда ждем анализа статистической значимости.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

В прошлой статье ТОЖЕ не пересекались. Вы вбили себе в голову того, чего нет и вводите других людей в заблуждение.

Причем, я вам написал одно и тоже сколько раз?? Но вы почему-то меня упорно не слышите.

Ну что, есть пересечение на данной выборке?? Нет. И я вам об этом сразу сказал. Но вы этого упорно не слышите, и не хотите слышать.

Зачем слышать, если можно слышать себя??

Ответить
Развернуть ветку
Valentin Budaev
В прошлой статье ТОЖЕ не пересекались

Вы же сами писали в комментах к прошлой статье, что пересекались и даже делали отдельный тест исключив пересеченные данные (где в итоге ваша стратегия показала доходность не выше рынка).

Окей, допустим не пересекается, что на счет статистической значимости? Понятное дело полноценный анализ вы не проведете, но если сравнить результаты вашей статьи со следующими вариантами рассчета:
1. считаем тренд случайным образом
2. ограничиваем угол (например от -30 то +45 градусов)
3. строим обычную линейную регрессию и продолжаем

Ответить
Развернуть ветку
Аполлон Степанов
Автор

Со всем моим огромным уважением к вам, но я наверное знаю ЧТО я делал. И если я говорю, что они не пересекались, то так наверное оно и есть. Перечитайте еще раз и статью и комментарии. Я вам и там писал ЭТО ЖЕ, и здесь пишу ЭТО ЖЕ.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

Со всем уважением к вам, мне сейчас не хочется делать анализ статистической значимости.

Если у вас есть желание, вы можете провести его самостоятельно. Данные все в статье для этого есть.

Однако я замечу, что адекватность можно оценивать разными способами. Не обязательно делать то, что предлагаете вы.

Ответить
Развернуть ветку
Valentin Budaev
Со всем уважением к вам, мне сейчас не хочется делать анализ статистической значимости.

Но тогда вы не можете утверждать, что описанный вами метод работает.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

Я утверждаю ровно то, что привёл в статье. Данные результатов эффективности я привел тоже. Каждый может сделать вывод самостоятельно по своему усмотрению.

Вы сомневаетесь в эффективности и достоверности. Ваше право. Ровно как и право любого другого человека принять самостоятельное решение по данной статье.

И под конец нашей дискуссии я вам скажу, со всем моим к вам уважением. Вы говорите, но не слышите собеседника. Вы не понимаете то, что он говорит. Вы не понимаете логика принятия решений и тех или иных действий.

Если бы вы меня слышали, то не писали бы огромное количество одних и тех же комментариев с одной стороны, и у вас бы возникло меньше комментариев с другой.

С уважением.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

"Нет, в науке это не работает. Если вы хотите что-то доказать - то эта ВАША задача исключить любые моменты которые могут поставить под сомнение результат."

Со всем уважением к вам, это вы говорите что у меня скореллированные данные. Я вам объясняю, что этого нет. Бремя доказательств лежит на утверждающем. Это вы говорите что у меня что-то есть.

Я вам говорю о совершенно других механизмах и логике обучения, где при жёстком разделении в принципе не может быть скореллированных данных.

Но главное не это. Как оценивается достоверность?? По результатам экспериментальных исследований.

Если нейронная сеть верно показывает вектор движения РЕАЛЬНЫХ данных, то значит она адекватна в определенной степени.

Ответить
Развернуть ветку
Valentin Budaev
Я вам объясняю, что этого нет.

Вы не объясняете , вы в это просто верите, при этом ваша вера противоречит тому, что известно любому студенту экономического факультета.
Т.е. то что ваша сеть дает результат - это просто ваша вера, не более.

Если нейронная сеть верно показывает вектор движения РЕАЛЬНЫХ данных, то значит она адекватна в определенной степени.

Но она не показывает вектор движения БУДУЩИХ данных. Только тех, которые попадают в интервал обучающей выборки.

Давайте конкретный вопрос - может ли ваша сеть предсказать данные за интервал времени, для которого в обучающей выборке данных не было? Да или нет?
Если да - покажите результаты тестов. Если нет - то ваш способ на практике неприменим.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

"Но она не показывает вектор движения БУДУЩИХ данных. Только тех, которые попадают в интервал обучающей выборки."

Я вам еще раз повторяю. Данные на которых проводился прогноза НЕ ВКЛЮЧАЛИСЬ В ОБУЧАЮЩУЮ ВЫБОРКУ. Вы можете это понять??

Я вам уже 500 раз сказал одно и тоже.

Я вам уже привел кучу графиков. Боевые данные котировок, которые приведены на графике НЕ ВКЛЮЧАЛИСЬ В ОБУЧАЮЩУЮ ВЫБОРКУ.

То, что вы говорите, просто глупость. Причем я уже это сказал наверное раз 500.

Ответить
Развернуть ветку
Александр Полевой
Вы можете доказать, что это число ошибочно??

Мне не требуется ничего доказывать, график, который вы предоставили, может нарисовать кто угодно за 3 минуты.

Если бы вы действительно могли предсказывать цену акций с точностью 98%, вы бы здесь не сидели, а уже были бы миллиардером с яхтой и самолётом.

То, нейронная сеть в данной статье точность определния вектора движения котировок доходит до 100%.

В свой статье вы даже не удосужились привести внятного определения "вектора движения котировок", соответственно и метрики, которую можно было бы измерить, тоже нет. Ваши слова про 100% - голословны.

Зачем читать статью??

А зачем ее писать? Вы уж меня простите, но с технической точки зрения этот высер никому не может быть интересен.

Зачем разбираться??

Чтобы другие читатели, возможно менее подкованные в финансах и технологиях, не повелось на ваш скам и не побежали оформлять подписки на ваш "стартап".

Ответить
Развернуть ветку
Дмитрий Милюков

Если бы вы действительно могли предсказывать цену акций с точностью 98%, вы бы здесь не сидели, а уже были бы миллиардером с яхтой и самолётом. ))))))

Будет! Главное денег собрать.

Ответить
Развернуть ветку
Дмитрий Милюков

Хоть копейку настоящую заработал, нейросеть?

Ответить
Развернуть ветку
Александр Шабанов

Прикольно, но не работоспособно.

Ответить
Развернуть ветку
Valentin Budaev
- Тестовая выборка: порядка 1 года.
- Обучающая выборка: порядка 8 лет.
- Предиктивная выборка: порядка 1 года.

На этот-то раз данные по времени не пересекаются, или опять та же ошибка?

Ответить
Развернуть ветку
Аполлон Степанов
Автор

У меня и в прошлый раз не пересекались. :) И в этот раз, разумеется, тоже.

Ответить
Развернуть ветку
Valentin Budaev
У меня и в прошлый раз не пересекались. :) И в этот раз, разумеется, тоже.

В прошлый раз у вас данные по времени пересекались, вы сами это неоднократно подтвердили. Если в этот раз также - значит, опять пересекаются.

И теперь это уже не просто ошибка, а прямой обман читателей с вашей стороны.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

В смысле пересекаются?? Вы можете объяснить суть своей позиции??

Ответить
Развернуть ветку
Valentin Budaev
В смысле пересекаются??

В смысле у вас пересекаются. Что тут непонятного? Например, вы тестируете на данных за 2020 год и в обучающей выборке есть данные за 2020 год (пусть и по другим рядам - достаточно что время пересекается).

Ответить
Развернуть ветку
Аполлон Степанов
Автор

Со всем уважением к вам, но вы ошибаетесь. Здесь происходит другой механизм обучения. Вы знаете что такое регрессионный анализ?? Здесь примерно то же самое. Вы говорите о совершенно других вещах. Как можно обучаясь, например, на инструменте OXY предсказать AAPL?? Это просто невозможно сделать. Это примерно как обучаться на Китайцах, а предсказывать Русских.

Ответить
Развернуть ветку
Valentin Budaev
Вы знаете что такое регрессионный анализ??

Знаю. То, что вы делаете в своей статье, ни какого отношения к нему не имеет.

Вы говорите о совершенно других вещах.

Еще раз - вы в данные на которых обучается сеть запихнули данные, скоррелированные с теми, на которых вы тестируете качество этой сети. Если выбирали данные так же, как прошлый раз, как вы говорите.

Так делать нельзя. В научном сообществе любая публикация, в которой модель тестируется подобным образом, сразу выкидывается на помойку, а автор идет и переделывает нормально.

Это просто невозможно сделать.

Конечно же это ВОЗМОЖНО сделать. Если вы не можете это же не значит что не могут остальные? Если у меня, например, будут данные за следующие 10 лет по основным валютным парам, я вам без труда обеспечу среднегодовую доходность в десятки процентов в эти десять лет на фондовом рынке. Не напрягаясь вообще.
Так же как и любой человек, который хоть что-то понимает в обсуждаемой теме.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

"Знаю. То, что вы делаете в своей статье, ни какого отношения к нему не имеет."

В том то и дело что имеет. Нейронная сеть старается приблизиться и получить функцию финансового инструмента.

То, что говорите вы не имеет смысла. Нет никакого смысла учиться на Яблоке, чтобы предсказать Алибабу. Это просто невозможно сделать.

Мы не получаем в данной статье обобщенную модель для всего финансового рынка. Это просто невозможно сделать физически по миллиону причин. И логика здесь совершенно дургая.

За основу логики создания решения берется инерционность рынка. И беря понимание инерционности рынка за основу мы и получаем нейронной сетью функцию финансового инструмента.

Ответить
Развернуть ветку
Valentin Budaev
Нейронная сеть старается приблизиться и получить функцию финансового инструмента.

Вот только с прогнозированием это ни как не связано.
Задача регрессионного анализа - получить функцию из определенного класса, которая наиболее "близка" (и может удовлетворять еще каким-то доп. условиям) к _имеющимся_ данным.

Например, никто не проверяет результат регрессии на каких-то "отдельных" тестовых данных, как вы это делаете в статье. С точки зрения регрессионного анализа "переобучение сети" - это хорошо и правильно, чем сильнее сеть переобучена, тем лучше она решила задачу регрессии.

Это просто невозможно сделать.

Вы раз за разом повторяете что это невозможно, хотя даже самые базовые знания о том как работает рынок говорят, что возможно.

Еще раз - вопрос решается просто, вы убираете пересечение по времени из данных и показываете результат. Либо результат есть - и он снимает все вопросы, либо результата нету - и это тоже снимает все вопросы. Если вы этих данных не показываете - то, опять же, это тоже снимает все вопросы и доказывает, что вы - жулик. Т.к. в первой статье все еще можно было свести на "ну я ошибся, дурак, с кем не бывает", но теперь нельзя - теперь явно видно что вы намеренно вводите читателей в заблуждение.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

"Вот только с прогнозированием это ни как не связано."

Вы не правы. Вы не учитываете инерционность рынка, а также ряд других факторов, которые вполне себе великолепно позволяют получить прогноз с применением рассматриваемого метода.

И результаты экспериментальных исследований это доказывают.

Я вам картинки результатов исследований даже разные прикладываю. Я вижу, что канал относительно реальных боевых данных спрогнозирован верно на всём промежутке времени в 130 дней.

Я это вижу собственными глазами, а вы мне утверждаете, что всё это чушь. Что всё не работает. Не работает что?? Я вижу что это работает своими собственными глазами. Как можно утверждать обратное??

"Либо результат есть - и он снимает все вопросы, либо результата нету - и это тоже снимает все вопросы. Если вы этих данных не показываете - то, опять же, это тоже снимает все вопросы и доказывает, что вы - жулик."

Вот я вам уже который раз привожу результаты. Но вы упорно их игнорируете и продолжаете говорить своё.

Ответить
Развернуть ветку
Valentin Budaev
Вы не правы.

Нет, это вы не знаете, что такое регрессионный анализ и зачем он применяется.

Я вам картинки результатов исследований даже разные прикладываю.

Вы пересечение данных убрали уже?

Вот я вам уже который раз привожу результаты. Но вы упорно их игнорируете и продолжаете говорить своё.

Кто угодно может взять данные за 2010 год, натренировать сеть и заставить ее предсказать данные за 2010 год. В чем тут цимес, объясните?

Ответить
Развернуть ветку
Аполлон Степанов
Автор

"Вы пересечение данных убрали уже?"

Я вам еще раз говорю. У меня ИЗНАЧАЛЬНО не было пересечения данных.

Прогноз нейронной сети сравнивался с реальными данными, которые НЕ ВХОДИЛИ В ОБУЧАЮЩУЮ И ТЕСТОВУЮ ВЫБОРКИ.

Я не учу сеть на 2010 году, и на нём же предсказываю. Я уже об этом написал 500 раз. 500!

Ответить
Развернуть ветку
Аполлон Степанов
Автор

"Еще раз - вопрос решается просто, вы убираете пересечение по времени из данных и показываете результат."

О каких пересекающихся данных вы говорите?? Вы можете мне на пальцах привести конкретный пример??

Ответить
Развернуть ветку
Valentin Budaev
Вы можете мне на пальцах привести конкретный пример??

В обучающей выборке есть данные, например, зв 2020 год. И тестируя вы сравниваете с данными, например, за 2020 год.

Еще раз - что это за данные нас не волнует. Пусть первое будет количество пиратов а второе - уровень глобального потепления, не важно. Важно что это данные за один год.

Ответить
Развернуть ветку
Александр Полевой
Нет никакого смысла учиться на Яблоке, чтобы предсказать Алибабу. Это просто невозможно сделать.

Вот ведь идиоты, напридумывали свои pairs trading, даже не задумавшись о том, что акции НИКОГДА не скорректированы, и можно просто набрать разных акций, усреднить их волатильность и получить безрисковую доходность выше гос облигаций США)))

Ответить
Развернуть ветку
Аполлон Степанов
Автор

Нормальные люди доказывают свои слова. Приведите доказательства. Лично для меня совершенно очевидно, что если взять OXY и AAPL, то это совершенно не скоррелированные активы, и по поведению одного невозможно предсказать поведение другого.

Но от вас я как доказательств не видел, так, впрочем, и не увижу. Ждать, что вы как то будете аргументировать вашу точку зрения бессмысленно.

Ответить
Развернуть ветку
Дмитрий Милюков

Он не понимает, это не обман. После реплики про регр анализ это понятно.

Ответить
Развернуть ветку
Аполлон Степанов
Автор

Конкретно в данной статье рассматривается технология как таковая.

Но у меня есть подобная нейронная сеть, данные которой учитываются при принятии решений.

Ответить
Развернуть ветку
46 комментариев
Раскрывать всегда