Градиентный бустинг – это как если бы экзамен сдавал бы не один очень умный студент, который сам может правильно ответить на 95% вопросов, а несколько тупых студентов, которые знают каждый по чуть-чуть, а всё остальное помнят очень плохо, но стараются угадать. Тогда бы каждый из этих студентов пробовал ответить на вопрос из билета так, как он помнит, а следующий студент корректировал бы ответ на столько, на сколько он сам помнит материал, и последний студент в цепочке в итоге отвечал бы на вопрос правильно на те же 95%. При этом первым всегда будет отвечать самый тупой студент, чтобы не запороть последовательность в самом конце.