Я бы больше обратил внимание на другой проект Microsoft
https://github.com/microsoft/unilm
Сейчас проблема нейронки, в том что она работает только как лингвистическая модуль и модель трансформер подходит хорошо только для этого типа. Сейчас ведутся работы над ново модуль Мульти.. где в итоге солянка нейронок под разные задачи - "Multimodal Large Language Model (MLLM)"
https://arxiv.org/pdf/2302.14045.pdf