πŸ›‘οΈ OWASP ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» Ρ‚ΠΎΠΏ-10 уязвимостСй для LLM-ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ β€” Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ ΠΈ Π½Π° русском

πŸ›‘οΈ OWASP ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» Ρ‚ΠΎΠΏ-10 уязвимостСй для LLM-ΠΏΡ€ΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ β€” Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ ΠΈ Π½Π° русском

Если Π²Ρ‹ Ρ€Π°Π·Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚Π΅ Π°Π³Π΅Π½Ρ‚ΠΎΠ², ΠΈΠ½Ρ‚Π΅Π³Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚Π΅ GPT Π² бизнСс-Π»ΠΎΠ³ΠΈΠΊΡƒ ΠΈΠ»ΠΈ просто строитС Ρ‡Π°Ρ‚-Π±ΠΎΡ‚ΠΎΠ² β€” уязвимости ΠΌΠΎΠ³ΡƒΡ‚ ΡΡ‚Π°Ρ‚ΡŒ Π½Π΅ тСорСтичСской, Π° ΠΎΡ‡Π΅Π½ΡŒ практичСской болью. OWASP ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΈΠ» ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½Ρ‹ΠΉ список ΠΈΠ· 10 Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ распространСнных ΡƒΠ³Ρ€ΠΎΠ·, с ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌΠΈ ΡƒΠΆΠ΅ ΡΡ‚Π°Π»ΠΊΠΈΠ²Π°ΡŽΡ‚ΡΡ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ LLM-ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ².

πŸ“˜ ΠΠΎΠ²ΠΎΡΡ‚ΡŒ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ вСсь список ΠΏΠ΅Ρ€Π΅Π²Π΅Π΄Π΅Π½ Π½Π° русский язык. Π­Ρ‚ΠΎ полноцСнная PDF, Π³Π΄Π΅ Ρƒ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΏΡƒΠ½ΠΊΡ‚Π° Π΅ΡΡ‚ΡŒ описаниС, ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹, сцСнарии Π°Ρ‚Π°ΠΊ ΠΈ ΠΌΠ΅Ρ€Ρ‹ прСдотвращСния. ΠŸΡ€ΠΎΡ‡ΠΈΡ‚Π°Ρ‚ΡŒ ΠΌΠΎΠΆΠ½ΠΎ Π·Π° Π²Π΅Ρ‡Π΅Ρ€ β€” сэкономитС Π½Π΅Π΄Π΅Π»ΠΈ Π½Π° Ρ€Π°Π·Π±ΠΎΡ€ΠΊΠ°Ρ… послС ΠΏΡ€ΠΎΠ΄Π°ΠΊΡˆΠ΅Π½Π°.

Π§Ρ‚ΠΎ Π²Π½ΡƒΡ‚Ρ€ΠΈ?

Π’ΠΎΡ‚ нСсколько уязвимостСй, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ стоит Π·Π½Π°Ρ‚ΡŒ Π΄ΠΎ, Π° Π½Π΅ послС:

πŸ”“ Prompt Injection (LLM01)

ΠœΠ°Π½ΠΈΠΏΡƒΠ»ΡΡ†ΠΈΡ ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°ΠΌΠΈ, ΠΊΠΎΠ³Π΄Π° Π·Π»ΠΎΡƒΠΌΡ‹ΡˆΠ»Π΅Π½Π½ΠΈΠΊ Ρ‡Π΅Ρ€Π΅Π· запросы влияСт Π½Π° ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ. ΠŸΡ€ΠΈΡ‡Π΅ΠΌ Π½Π΅ всСгда Π½Π°ΠΏΡ€ΡΠΌΡƒΡŽ β€” инструкции ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ спрятаны Π² Π΄Ρ€ΡƒΠ³ΠΈΡ… источниках: Π²Π΅Π±-страницах, описаниях ΠΈΠ»ΠΈ Π΄Π°ΠΆΠ΅ изобраТСниях. πŸ’₯ ΠŸΠΎΡΠ»Π΅Π΄ΡΡ‚Π²ΠΈΡ: ΠΎΠ±Ρ…ΠΎΠ΄ систСмных ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠΉ, гСнСрация Π½Π΅ΠΆΠ΅Π»Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π°, ΡƒΡ‚Π΅Ρ‡ΠΊΠ° Π΄Π°Π½Π½Ρ‹Ρ….

🧠 ЧрСзмСрная Π°Π³Π΅Π½Ρ‚Π½ΠΎΡΡ‚ΡŒ (LLM06)

Когда ваш LLM ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚ слишком ΠΌΠ½ΠΎΠ³ΠΎ возмоТностСй ΠΈ Π½Π°Ρ‡ΠΈΠ½Π°Π΅Ρ‚ Π΄Π΅ΠΉΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠΎΡ‡Ρ‚ΠΈ Π°Π²Ρ‚ΠΎΠ½ΠΎΠΌΠ½ΠΎ. ОсобСнно ΠΊΡ€ΠΈΡ‚ΠΈΡ‡Π½ΠΎ Π² Π°Π³Π΅Π½Ρ‚Π½Ρ‹Ρ… Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π°Ρ…: Π²Ρ€ΠΎΠ΄Π΅ Ρ…ΠΎΡ‚Π΅Π»ΠΈ Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ€ΡƒΡ‚ΠΈΠ½Ρƒ β€” Π° ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»ΠΈ сбой Π² Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠ΅ дСйствий ΠΈ Π½Π΅ΠΎΠΆΠΈΠ΄Π°Π½Π½Ρ‹ΠΉ запрос Π² ΠΏΡ€ΠΎΠ΄ΠΎΠ²ΡƒΡŽ систСму.

πŸ•΅ Π£Ρ‚Π΅Ρ‡ΠΊΠ° систСмных инструкций (LLM07)

БистСмный prompt, Π½Π° ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Ρ‹ надСялись, Ρ‡Ρ‚ΠΎ ΠΎΠ½ Β«Π³Π΄Π΅-Ρ‚ΠΎ ΠΏΠΎΠ΄ ΠΊΠ°ΠΏΠΎΡ‚ΠΎΠΌΒ» β€” ΠΌΠΎΠΆΠ΅Ρ‚ Π²Π½Π΅Π·Π°ΠΏΠ½ΠΎ Π²ΡΠΏΠ»Ρ‹Ρ‚ΡŒ Π² ΠΎΡ‚Π²Π΅Ρ‚Π΅. И Π΄Π°, это ΡƒΠΆΠ΅ происходило Π² Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… кСйсах.

☠ ΠžΡ‚Ρ€Π°Π²Π»Π΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π΄Π°Π½Π½Ρ‹Ρ… (LLM04)

Если ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚Π΅ RAG, fine-tuning ΠΈΠ»ΠΈ хоститС датасСты ΠΎΡ‚ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ β€” Π°Ρ‚Π°ΠΊΠ° ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΡ€ΠΈΠΉΡ‚ΠΈ снаруТи. Достаточно ΠΎΠ΄Π½ΠΎΠ³ΠΎ врСдоносного Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΡΠΊΠ°ΠΆΠ°Ρ‚ΡŒ ΠΎΡ‚Π²Π΅Ρ‚Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈ.

ΠŸΠΎΡ‡Π΅ΠΌΡƒ это Π²Π°ΠΆΠ½ΠΎ?

ΠŸΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ LLM-ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΠΈ β€” это Π½Π΅ просто UX-Ρ„ΠΈΡ‡Π°, Π° Ρ‚ΠΎΡ‡ΠΊΠ° доступа Π² критичСскиС процСссы. Блишком часто Π² AI-ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚Π°Ρ… Π±Π΅Π·ΠΎΠΏΠ°ΡΠ½ΠΎΡΡ‚ΡŒ оказываСтся "ΠΏΠΎΡ‚ΠΎΠΌ".

OWASP Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΠ΅Ρ‚ этот список Π½Π° основС Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… Π°Ρ‚Π°ΠΊ, Π±Π°Π³Ρ€Π΅ΠΏΠΎΡ€Ρ‚ΠΎΠ² ΠΈ ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠΈ. Π­Ρ‚ΠΎ ΠΆΠΈΠ²ΠΎΠΉ, Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‰ΠΈΠΉ Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ, Π° Π½Π΅ акадСмичСская Π²Ρ‹ΠΆΠΈΠΌΠΊΠ°.

πŸ“Ž Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ доступСн бСсплатно, ΠΏΠΎΠ΄ Π»ΠΈΡ†Π΅Π½Π·ΠΈΠ΅ΠΉ CC BY-SA: πŸ‘‰ PDF Π½Π° русском языкС (OWASP, 2025)

πŸ’¬ Π€ΠΈΠ½Π°Π»ΠΎΡ‡ΠΊΠ°

Если Π²Ρ‹ ΠΏΠΈΡˆΠ΅Ρ‚Π΅ Ρ‡Ρ‚ΠΎ-Ρ‚ΠΎ Π½Π° Π±Π°Π·Π΅ GPT, Claude ΠΈΠ»ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΡ… LLM β€” этот список Π΄ΠΎΠ»ΠΆΠ΅Π½ Π±Ρ‹Ρ‚ΡŒ Ρƒ вас Π² Π·Π°ΠΊΠ»Π°Π΄ΠΊΠ°Ρ….ΠŸΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ Π±Π°Π³, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²Ρ‹ считаСтС β€œΠ·Π°Π±Π°Π²Π½ΠΎΠΉ фичСй”, ΠΌΠΎΠΆΠ΅Ρ‚ Π·Π°Π²Ρ‚Ρ€Π° ΠΏΠΎΠΏΠ°ΡΡ‚ΡŒ Π² ΠΏΡ€Π΅Π·Π΅Π½Ρ‚Π°Ρ†ΠΈΡŽ Ρ…Π°ΠΊΠ΅Ρ€ΠΎΠ² Π½Π° DEF CON.

πŸ”— Π― Π²Π΅Π΄Ρƒ Telegram-ΠΊΠ°Π½Π°Π», Π³Π΄Π΅ Ρ€Π°Π·Π±ΠΈΡ€Π°ΡŽ Ρ‚Π°ΠΊΠΈΠ΅ истории ΠΈ дСлюсь собствСнными экспСримСнтами Π² ΠΈΠ½Π΄ΠΈ-Ρ…Π°ΠΊΠΈΠ½Π³Π΅ ΠΈ запускС ΠΌΠΈΠΊΡ€ΠΎ-ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚ΠΎΠ².

ΠΠ°Ρ‡Π°Ρ‚ΡŒ Π΄ΠΈΡΠΊΡƒΡΡΠΈΡŽ