GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами и другого.
Кстати, если кому-то интересно, вот песня слова которой написал GPT-3 https://youtu.be/QX2XCBH-6zQ