Dolaylı istem enjeksiyonu: İnsanlar yapay sinir ağlarını nasıl manipüle edebilir?
25.08.2024 - Pazar 21:00Şimdiye dek sohbet robotları tarafından gerçekleştirilen önemli manada yıkıcı bir harekete rastlanmamış olsa da, kelam konusu atağın berbata kullanılabilme potansiyeli bulunuyor.
LLM'ler, doküman tahlilinden işe alıma, hatta tehdit araştırmalarına kadar çeşitli uygulamalarda kullanılan güçlü araçlar haline geldi. Lakin Kaspersky araştırmacıları, makûs niyetli şahısların web sitelerine ve çevrimiçi dokümanlara bâtın talimatlar yerleştirebildiği bir güvenlik açığının internette kamuya açık ortamlarda istismar edildiğini keşfetti. Bu talimatlar daha sonra LLM tabanlı sistemler tarafından algılanabiliyor ve potansiyel olarak arama sonuçlarını yahut sohbet robotu cevaplarını etkileyebiliyor.
Çalışma, dolaylı süratli enjeksiyon için aşağıdaki kullanım alanlarını belirledi:
- İK ile ilgili enjeksiyonlar: İş arayanlar, işe alım algoritmalarını manipüle etmek ve yapay zeka sistemleri tarafından önceliklendirme sağlamak için özgeçmişlere özel istemler yerleştiriyor. Saldırıyı gerçek şahısların denetiminden gizlemek için küçük yazı tipleri kullanmak yahut metin rengini art planla eşleştirmek üzere teknikler uygulanıyor.
- Reklam enjeksiyonları: Reklam verenler, arama sohbet robotlarını etkileyerek eserler hakkında olumlu yorumlar oluşturmalarını sağlamak için açılış sayfalarına enjeksiyonlar yerleştiriyor.
- Protesto gayeli enjeksiyon: LLM'lerin yaygın kullanımına karşı çıkan bireyler, ferdî web sitelerine ve toplumsal medya profillerine protesto yönlendirmeleri yerleştiriyor ve bahse dair muhalefetlerini mizahi, önemli yahut agresif talimatlarla tabir ediyor.
- Hakaret odaklı enjeksiyon: Sosyal medyada kullanıcılar, ekseriyetle şiirler, ASCII sanatı yahut siyasi bahislerde görüşler üretme talepleriyle, bir hakaret biçimi olarak yahut spam botlarını bozmak için istem enjeksiyonunu kullanabiliyor.
Çalışma, finansal yarar üzere makus niyetli kullanımlara dair rastgele bir ispat bulamamış olsa da, gelecekteki potansiyel riskleri vurgulamaktan geri durmuyor. Örneğin saldırganlar yanlış bilgi yaymak yahut hassas bilgileri şirket dışına sızdırmak için LLM'leri manipüle edebilirler.
Kaspersky Makine Tahsili Teknolojisi Araştırma Takımı Araştırma Geliştirme Küme Müdürü Vladislav Tushkanov, bahisle ilgili olarak şunları söylüyor: "Dolaylı istem enjeksiyonu, yapay zeka çağında sağlam güvenlik tedbirlerine duyulan muhtaçlığı vurgulayan yeni bir güvenlik açığını simgeliyor. Bu riskleri anlayarak ve uygun muhafaza tedbirlerini uygulayarak, LLM'lerin inançlı ve sorumlu bir formda kullanılmasını sağlayabiliriz."
Kaspersky, büyük lisan modellerine (LLM) dayalı mevcut ve gelecekteki sistemlerinizi korumak için aşağıdaki tavsiyeleri dikkate almanızı öneriyor:
- LLM tabanlı sistemlerinizdeki potansiyel güvenlik açıklarını belirleyin ve süratli enjeksiyon taarruzlarıyla bağlı riskleri değerlendirin.
- Pazarlama botları radikal açıklamalar yapmaları için manipüle edilebileceğinden ve bu durum potansiyel prestij kaybına yol açabileceğinden, prestijle ilgili risklerin farkında olun.
- Korumanın fakat belirli bir yere kadar mümkün olabileceğini kabullenin. Bilhassa multimodal enjeksiyonlar üzere karmaşık hücumlarda süratli enjeksiyona karşı tam müdafaa sağlamak mümkün değildir.
- Tam bir güvenlik sunmasalar da, LLM'lerin girdi ve çıktılarını filtrelemek için girdi ve çıktı denetleme araçlarını kullanabilirsiniz.
- LLM sistemlerinde güvenilmeyen yahut doğrulanmamış içeriğin işlenmesinden kaynaklanan risklerin var olabileceğinin farkında olun ve kabullenin.
- İstenmeyen aksiyonları önlemek için yapay zeka sistemlerinin karar verme yeteneklerini kısıtlayın.
- LLM tabanlı sistemleri çalıştıran tüm bilgisayarların ve sunucuların yeni güvenlik araçları ve uygulamaları ile korunduğundan emin olun.
Kaynak: (BYZHA) Beyaz Haber Ajansı