GPT-3 можно обучить на основе русской литературы, русской и английской «Википедии», новостных сайтах и сайтах с вопросами и ответами, публичных разделов Pikabu, научно-популярного сайта 22century.ru и банковского «Банки.ру», а также с помощью проекта с открытым исходным кодом, содержащим 33 млрд русских слов, Omnia Russica.
Кстати поболтать с Нейромозгом на GPT3+ можно в Телеграм:
@AnotherMindBot
760 миллионов параметров - не 600 ГБ. 600 ГБ весит датасет, на котором обучали.
Это версия GPT-2 с увеличенным контекстом и всякими другими штуками, обученная на русском языке. Она в 150 раз меньше настоящей GPT-3, у которой 175 миллиардов параметров
На вашей же картинке несколько версий, и все разных размеров.
Комментарий недоступен
В комментариях на Хабре указали, что архитектура GPT-3 подробно описана в научных публикацих от Open AI, ребята из Сбера изучили эти публикации и в точь-точь повторили все, что там было описано, только для обучения использовали русский язык.
Да ладно! Сбер выпускает свободное программное обеспечение
GPT-3 займется развитием Сбер.Онлайн