Верно. Проблема фундаментальная самой архитектуры трансформера. Свистелками и перделками ее не исправить, что и видно по OpenAi.
Мы занимаемся решением и вот наш подход https://vc.ru/664622