1) Какая архитектура у сети? Свое обучение gpt-3 на датасетах с татарским или mGPT, уже обученная на татарском тексте?
2) как собирали для обучения текст - из интернетов? вездели текст оригинальный, или где-то он сгенерирован машинным переводом на татарский из английского и русского? Потому что сеть явно умеет писать и про то, о чем татарских текстов было мало.
3) если первое, то откуда сеть знает факты, про которые мало пишут на татарском, если второе - то как вместе с фактами не проскакивают артефакты машинного перевода?
4) или фактология и языковые обороты там разнесены, и каким-то образом переносом обучения татарский язык "натянут" на фактологию, которой модель обучилась еще на русском?
Роман, очень впечатлен!
Подскажите, пожалуйста, некторые технические моменты.
1) Какая архитектура у сети? Свое обучение gpt-3 на датасетах с татарским или mGPT, уже обученная на татарском тексте?
2) как собирали для обучения текст - из интернетов? вездели текст оригинальный, или где-то он сгенерирован машинным переводом на татарский из английского и русского? Потому что сеть явно умеет писать и про то, о чем татарских текстов было мало.
3) если первое, то откуда сеть знает факты, про которые мало пишут на татарском, если второе - то как вместе с фактами не проскакивают артефакты машинного перевода?
4) или фактология и языковые обороты там разнесены, и каким-то образом переносом обучения татарский язык "натянут" на фактологию, которой модель обучилась еще на русском?