Градиентный бустинг

Представим, что есть поликлиника, в нее приходит множество пациентов с самыми разными симптомами, и каждому нужно поставить диагноз.

Можно посадить одного очень умного врача, который разберется со всеми случаями в одиночку. Но таких широких и глубоких специалистов не найти.

Еще можно собрать независимое мнение нескольких врачей, и поставить диагноз путем голосования. Это работает, но практика показывает, что надо собрать очень много разных мнений, чтобы путем голосования получалось намного лучше, чем у одного врача.

Лучше мы сделаем так, чтобы они работали сообща, а не по-отдельности. И вот каким образом.

Пациент всегда начинает с терапевта. Терапевт его осматривает, и пишет свое заключение, где пишет свой предполагаемый диагноз.

Далее пациент всегда идет к хирургу. Хирург осматривает, читает мнение терапевта и корректирует его, если считает что тот не прав. Ведь в некоторых вопросах он разбирается глубже, чем терапевт.

Далее пациент всегда идет к кардиологу. Кардиолог уже знает, что пациента осматривал терапевт и хирург, и смотрит их заключение. Он им доверяет, но если он считает что терапевт и хирург, например, пропустили проблему с сердцем, то он вносит исправления в итоговый диагноз.

Далее пациент пойдет к невропатологу, потом к онкологу...

В конце он получит один диагноз от пяти специалистов, которые сработались друг с другом. Каждый специалист знает, в чем он силен, а в чем лучше довериться своим коллегам, и поэтому их знания дополняют друг друга.

Настоящий консилиум не обязательно должен проходить по цепочке, но идея та же - профессиональный сработавшийся коллектив умнее, чем много отдельных универсальных специалистов, даже если они определяют диагноз вместе, голосованием.

"Градиентный бустинг" - это как раз такой способ составить простые алгоритмы в одну цепочку, чтобы они "сработались" друг с другом, и каждый из них исправлял ошибки предыдущих.