Yapay Zekâ ve LLM Güvenlik Testi

LLM'ler doğal dildeki talimatları veriden ayırt etmekte zorlanır. Bir kullanıcı mesajı, yüklenen bir belge veya okunan bir web sayfası modele gizli talimat taşıyabilir. Model veritabanına, e-postaya ya da iç sistemlere bağlandığında bu durum doğrudan bir güvenlik açığına dönüşür.

Kapsamı OWASP Top 10 for LLM Applications 2025 listesine göre oluştururuz. Öne çıkan başlıklar:

• Prompt injection (talimat enjeksiyonu): Doğrudan ve dolaylı yollarla modelin kurallarının aşılması.
• Hassas bilgi ifşası: Müşteri verisi, iç belge veya erişim bilgilerinin yanıtlara sızması.
• Sistem prompt'unun sızdırılması: Gizli talimatların ve iş kurallarının açığa çıkarılması.
• Aşırı yetki (excessive agency): Ajanın araçlar veya API'ler üzerinden yetkisiz eylem gerçekleştirmesi.
• Güvensiz çıktı işleme: Model çıktısının uygulamada XSS, SQL veya komut enjeksiyonuna yol açması.
• Vektör ve gömme (embedding) zayıflıkları: RAG veri tabanında yetkisiz belgeye erişim veya veri zehirleme.
• Sınırsız kaynak tüketimi: Maliyet ve servis sürekliliğini etkileyen kötüye kullanım.

1. Mimari inceleme: Model, sistem prompt'u, veri kaynakları, araçlar ve yetkiler haritalanır.
2. Tehdit senaryoları: Kullanıcı rolleri ve iş akışına göre saldırı senaryoları hazırlanır.
3. Manuel ve araç destekli testler: Senaryolar kontrollü biçimde uygulanır, başarılı denemeler kanıtlanır.
4. Raporlama: Bulgular etki ve olasılığa göre önceliklendirilir; prompt, yetki ve mimari düzeyinde öneriler sunulur.
5. Doğrulama testi: İyileştirmelerin etkinliği yeniden test edilir.

Müşteriye açık sohbet botu, iç bilgi asistanı, kod asistanı veya iş süreçlerinde karar veren yapay zekâ ajanı kullanan kurumlar için uygundur.

• Yönetici özeti ve risk tablosu.
• Başarılı saldırı girdileri ve model yanıtlarıyla kanıtlanmış bulgular.
• OWASP LLM Top 10 2025 kategorileriyle eşleştirilmiş risk derecelendirmesi.
• Sistem prompt'u, yetki tasarımı, girdi/çıktı filtreleme ve izleme için öneriler.
• Doğrulama testi raporu.