Сага о том, как в стартапе машинное обучение внедряли

Расскажу, как выглядел процесс внедрения и какие сложности возникли.

Сага о том, как в стартапе машинное обучение внедряли
2424

Интересно но конкретики нет. Какие данные использовали для проверки точности? Часть базы цен из объявлений?

Внутренность алгоритма получается "черный ящик", т.е. нельзя сказать почему по квартире было вынесено именно такое решение. Тогда как осуществляется контроль того что алгоритм не сбоит на отдельных квартирах? Или просто принято что в 10% случаев результату верить не стоит?

И зачем сразу машинное обучение, линейные умные алгоритмы тут могут дать хороший, прогнозируемый результат.

1
Ответить

Артем, привет!

По поводу проверки - да, брали объявления, и сильно их чистили - обрезали выбросы с краев, проходили по ключам, по сроку размещения и тд.

"Черный ящик" - отчасти, есть возможность делать визуализацию, где ты видишь, как каждый параметр внес вклад в стоимость.

"В 10% случаев результату верить не стоит?" - алгоритм в любом случае будет где-то ошибаться, так как он работает не со всеми факторами, а с какой-то частью. Но не то, что "верить не стоит" - скорее "в 10% случаем погрешность может быть больше".

"И зачем сразу машинное обучение, линейные умные алгоритмы тут могут дать хороший, прогнозируемый результат." - прогнозируемый - да, хороший - в нашем кейсе не сработало:)

1
Ответить

Smape 12% означает, что черный ящик в среднем отклонится от цены рынка на 12%.
Это не процент прогнозов, не укладывающихся в ограничение по качеству. Тут вообще нет нормативного отклонения от факта, при котором прогноз необходимо считать неудовлетворительным.
П.с. линейные алгоритмы это так себе. Часть факторов не количественные, шкалы взаимосвязаны, это кошмар всё в явном виде приводить. Если бы они что-то реально давали, то такая скоринговая система была бы уже доступна. 

Ответить