Объясните, в чем феномен ChatGPT? Ведь и до него были нейронки. В него влили больше дата сетов? А вообще, видно, как нейронка может ПОМОГАТЬ, а не заменять программиста.
1) Закон шиншилл. Раньше считалось, что есть лимит итераций, после которого обучать нейронку не эффективно. Оказалось, что после плато, эффективность продолжает возрастать - сети можно доучивать практически без ограничений. Название от сети, на которой сделано открытие.
2) Регрессивное предсказание. Чем больше слов ChatGPT уже написал в ответе - тем точнее подбирает следующее. Поэтому работает трюк - если попросить разбить ответ на шаги - точность возрастает. Потому что ответ включает больше контекста на каждой итерации.
3) Большой входной датасет.
ChatGPT предсказывает слова в тексте. Это неплохо работает для кода, потому что код - структурированный текст и множество кейсов уже было написано хотя бы один раз.
Хорошие новости для разработчиков в том, что вариантов рекомбинации бесконечно много и иллюзия разваливается при первой попытке сделать что-то нестандартное, а это примерно сразу.
Раньше была абстракция визуального программирования (конструкторы алгоритмов). Теперь еще есть натурально-языковое - точнее и удобнее, но примерно с теми же ограничениями.
Объясните, в чем феномен ChatGPT? Ведь и до него были нейронки. В него влили больше дата сетов? А вообще, видно, как нейронка может ПОМОГАТЬ, а не заменять программиста.
1) Закон шиншилл. Раньше считалось, что есть лимит итераций, после которого обучать нейронку не эффективно. Оказалось, что после плато, эффективность продолжает возрастать - сети можно доучивать практически без ограничений. Название от сети, на которой сделано открытие.
2) Регрессивное предсказание. Чем больше слов ChatGPT уже написал в ответе - тем точнее подбирает следующее. Поэтому работает трюк - если попросить разбить ответ на шаги - точность возрастает. Потому что ответ включает больше контекста на каждой итерации.
3) Большой входной датасет.
ChatGPT предсказывает слова в тексте. Это неплохо работает для кода, потому что код - структурированный текст и множество кейсов уже было написано хотя бы один раз.
Хорошие новости для разработчиков в том, что вариантов рекомбинации бесконечно много и иллюзия разваливается при первой попытке сделать что-то нестандартное, а это примерно сразу.
Раньше была абстракция визуального программирования (конструкторы алгоритмов). Теперь еще есть натурально-языковое - точнее и удобнее, но примерно с теми же ограничениями.
До Айфона были смартфоны, до Теслы были электромобили и т.д.