Анализируя обучающую выборку GPT, ищет вещи, которые в определенном смысле «совпадают по смыслу». Но конечным результатом является то, что он создает ранжированный список слов с вероятностями. Получается, что когда он пишет текст, то снова и снова прогнозирует: «Учитывая текст на данный момент, каким должно быть следующее слово?» — и каждый раз добавляя слово. Для продолжения он берет не слово с наибольшей вероятностью, а в рандомный момент учитывает также некоторый понижающий коэффициент, чтобы получить более «творческий» текст.
Круто, но по нынешнему курсу, почти 2к в месяц...)