Емкость модели больше, чем объем тренировочных данных.
Еще первую GPT критиковали за то, что она "вспоминала" данные (дополняла текст открывком из обучающих данных).
Это трансформер по архитектуре. На них хайп проходит. По сути, это крутой поисковик по обучающим данным.
GPT - 4 будет графовой сетью, скорее всего завязанной на графовые базы знаний, и она будет уже реальные reasoning делать.