Я не айтишник и не инженер, но почитав инфу выделил для себя следующее: в распознавании используются специальные модели с различными точками, которые "отвечают" за мышцы, т.к. некий муляж скелета с различными эмоциями и движениями. Но у каждого человека свои параметры, поэтому создается база, в которую заносится информация каждого.