Почему мы неправильно тестируем инвестиционные гипотезы

Давайте поговорим про тестирование инвестиционных идей.
Сейчас расскажу почему мы обычно делаем это катастрофически неправильно. Тема непростая, готовьтесь вскипятить свой мозг.

Так как трейдинг для меня основной способ заработка, рассказывать про него я готов часами, однако очень многие уроки из системного трейдинга можно легко перенести на обычную жизнь и классический офлайн бизнес.

Давайте сформулируем простенький мысленный эксперимент.

Представим себе, что вы решили запустить новое бизнес-направление: открыть ларьки с мороженым, продажу товаров через амазон, свой курс по вязанию макраме, механика нам в данном случае не так интересна.

Важен результат:

Каждая запускаемая точка/товар/идея выстреливает с вероятностью 60% и приносит вам 500 USDT, а в 40% случаев закрывается без прибыли и минусует на те же 500 USDT. В реальной жизни бывает и лучше, но у нас такой себе эксперимент, в пробирке.

Теперь прогоняем серию экспериментов (100 шт.), и смотрим результат после теста. В этом месте я написал простенькую программу, которая с помощью генератора случайных чисел реализует эту логику.

Получилась такая вот картинка:

Капитал растет стабильно, идея работает, мороженное продается. Вы бы взяли такую идею в работу?

Вроде бы, мы имеем неплохое матожидание, бизнес дает хороший профит. И действительно, достаточно часто (чаще других вариантов) так и происходит.

Но теперь взгляните на другие варианты развития событий. Я прогнал тест еще несколько раз и получились такие результаты:

Или вот такие:

И еще вот такие:

Чувствуете разницу? На всех этих картинках изображены результаты работы одного и того же бизнеса, во всех случаях мы имели 60% вероятности заработать 500 USDT с открытием нашего ларька, и 40% вероятности потерять, но результаты отличаются разительно.

Конечно же, в большинстве случаев, наш виртуальный помощник, которого я использую для отрисовки этих графиков показывает какую-то среднюю картинку. Вроде бы и рост есть, и просадка присутствует. Но (!).

А возможно, что бизнес-идея, которая отправилась в корзину на прошлой неделе — просто неудачница. Просто так сложилось, что там, где вы ее тестировали (и даже два или три раза, запросто!) ей банально не повезло.
Надеюсь, если вы дочитали до этого места, мне удалось донести до вас простую мысль — влияние дисперсии на результат тестирования велико. Очень велико. Оно намного больше чем вы когда-либо думали.

Ну, ок. Давайте теперь попробуем понять, что с этим делать и какие выводы из этого следуют.

Тестирование на чужих примерах, исторических данных, предположениях, которое вы видели на картинках и статьях в интернете ничего не значит в 99% случаев.

В принципе, значение матожидания, полученного на основе исторических данных будет постепенно приближаться к истинному значению с ростом количества тестов в отдельной выборке. Но нужно понимать, что для этого нужен очень приличный объем данных.

Так, например, для нашего с вами примера с вероятностями 60% и 40% даже дистанция в 1000 сделок по прежнему может давать результаты отличающиеся в разы (!).

Я безусловно сильно упростил в этом посте процесс. В нормальном тестировании торговых систем входные данные разбиваются обычно на две части и используются для оптимизации и тестирования по отдельности, кроме этого существуют более сложные чисто статистические подходы, которые позволяют оценить качество результата даже на небольших выборках, но простите уж мне это упрощение.

Очень хотел донести до вас основную мысль:

Подумайте об этом. Ну и задавайте вопросы в комментариях.