Daniel Gafni
Отредактировал сообщение. Изначально не тот тред на реддите, сори.
Новость про гугл скорее показатель, что движуха какая-то у них началась. Понятое, что Брин лично не напишет ничего серьезного.
https://www.forbes.com/sites/richardnieva/2023/01/31/sergey-brin-code-request-lamda/?sh=7b8eb2657ce6
Апдейт: на самом деле я потерял тред на реддите, где подробно объяснялось это.
Если кратко, то основной прорыв ChatGPT состоит в RLHF, который позволил зацензурить генерацию и быть уверенным, что модель не наговорит лишнего. Именно за счет этого они смогли опубликовать ее в открытый доступ.
У гугла (и не только) были опубликованы модели, превосходящие GPT-3 по качеству. С гигантскими мощностями гугла им по силам натренировать все то же самое, что есть у OpenAI, а уж данных об интернете у них явно больше.
Сейчас, когда технология RLHF стала известна, ничто не мешает гуглу применить ее и опубликовать свои модели.
И похоже, они уже этим занимаются. Про Яндекс тоже вот сегодня была новость.
У Google почти наверняка есть сетки похлеще GPT-4, они их просто пока не презентовали. В какой-то момент решатся и запустят в своем поиске.
https://www.reddit.com/r/MachineLearning/comments/10svwch/r_multimodal_chainofthought_reasoning_in_language/?utm_source=share&utm_medium=ios_app&utm_name=iossmf
Вот еще прикол - модель в 200 раз меньше GPT 3.5 бьет ее в качестве на многих задачах