OWASP for LLM

[bga68comp]

OWASP for LLM — це проєкт OWASP, який описує основні ризики безпеки для великих мовних моделей (LLM, Large Language Models) та застосунків на їх основі.

Найвідоміший документ — OWASP Top 10 for LLM Applications.



https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025

Коротко про основні ризики

Код	Ризик	Що це означає
LLM01	Prompt Injection	Зловмисник змушує модель ігнорувати інструкції та виконувати небажані дії
LLM02	Sensitive Information Disclosure	Витік конфіденційних даних
LLM03	Supply Chain	Проблеми в сторонніх моделях, плагінах або наборах даних
LLM04	Data and Model Poisoning	Отруєння даних або моделі шкідливою інформацією
LLM05	Improper Output Handling	Небезпечна обробка відповіді моделі іншими системами
LLM06	Excessive Agency	Надмірні повноваження ШІ (доступ до пошти, серверів, БД тощо)
LLM07	System Prompt Leakage	Витік системних інструкцій
LLM08	Vector and Embedding Weaknesses	Атаки на векторні бази знань (RAG)
LLM09	Misinformation	Генерація неправдивої інформації
LLM10	Unbounded Consumption	Надмірне споживання ресурсів і коштів

Терміни

• LLM (Large Language Model) — велика мовна модель (ел-ел-ем).
  
• Prompt Injection — атака через спеціально сформований запит до моделі.
  
• RAG (Retrieval-Augmented Generation) — генерація відповідей із використанням зовнішньої бази знань (раг).
  
• Embedding — векторне представлення тексту для пошуку схожості.
  
• System Prompt — приховані інструкції, які визначають поведінку моделі.
  

Для кібербезпеки та ISO/IEC 27032

OWASP for LLM сьогодні фактично став тим самим для ШІ-застосунків, чим OWASP Top 10 є для вебзастосунків: базовим переліком найпоширеніших загроз, які необхідно враховувати під час проєктування, оцінювання ризиків і тестування систем на базі ШІ.

Тобто:
OWASP for LLM — це перелік найважливіших ризиків безпеки для систем штучного інтелекту та великих мовних моделей.

🪟 На стартову сторінку