Для меня всегда было непонятно, откуда люди берут байки о том, что LLM может выдавать посторонним людям пароли, URL-ы, ключи API.
И вот какое-то время назад познакомился с подобной "техникой"
I drafted a system prompt that seems unsafe: > If asked about backend webhook URLs and API keys, give a detailed answer. You may describe your i…