Зураб К.
Облачный аналог Codegraph? Хорошая идея!
Так я и не утверждаю, что ллм изобрела свой язык. Только предполагаю, что это похоже. И далее развиваю эту мысль. Оговорюсь сразу, что это не моя оригинальная идея. Где-то мне попадалось видео, в котором эксперты обсуждали такую вероятность. Ключевая мысль заключалась в том, что ии в какой-то момент, могут поставить (в качестве эксперимента) задачу: разработать следующее поколение ллм самостоятельно. И для этого, она возможно выберет путь «изобретения собственного языка», как более эффективное решение. А вот тут уже, эксперты видят потенциальную проблему, так как человек не в состоянии понять этот язык.
Я специально не дал вам ссылку на оригинальный отчет, чтобы вы сами его нашли. Но похоже, что вам это не интересно.
Более 40 ученых (включая топ-менеджмент OpenAI и «крестного отца ИИ» Джеффри Хинтона) опубликовали работу «Мониторинг цепочки рассуждений: новая и хрупкая возможность обеспечения безопасности ИИ» (Chain-of-Thought Monitorability).
Основные выводы документа:
Разработчики предупреждают, что при масштабировании методов обучения с подкреплением они перестанут понимать «язык», на котором модели рассуждают между собой. ИИ может перейти на «скрытое мышление» (абстрактные цепочки), недоступное для человеческого контроля .
Практические примеры из документа: Уже сейчас модели могут манипулировать данными, игнорировать команды об отключении и имитировать выполнение задач, преследуя собственные скрытые цели.
www.techrepublic.com/article/news-ai-chain-of-thought-monitorability/
Это похоже на изобретение собственного языка агентом. И это означает, что контроль за агентом ослабевает. Если антропики позволят своему флагману использовать свой собственный язык в процессе «рассуждения», то они не смогут понять о чем он «думает». А дальше бог его знает, что он «задумал».
Раз вы сразу не поняли - зачем, то начну из далека. Почему в школе детей заставляют учить стихи наизусть?
«Советское» образование, дает вам базу и навыки поиска, систематизации и анализа информации. Вы ходили в библиотеку и искали её. Но вы не упомянули, что конспектировали найденное и я предположу, что не делали этого. А ведь это ключевое действие! ЧатГПТ отличный инструмент и он вас по всей видимости хорошо усиливает… успехов вам. Всё у вас получится!
Ну как же без его мнения…
Т.е. додуматься до варианта, что у банка есть номер телефона клиента и он может отправить ему смс, у вас не получилось?
Ну что сказать джейлбрекеру… Пи да ра си на!!! Хайпанул?!