OpenAI kendi açıklarını aramış.
OpenAI kendi modellerine saldıran GPT-Red modelini geliştirdi
openai, yapay zeka modellerindeki güvenlik açıklarını tespit etmek amacıyla gpt-red adlı bir saldırı sistemi geliştirdi; model güvenlik gerekçesiyle kullanıma açılmayacak.
openai, kendi yapay zeka modellerindeki güvenlik açıklarını bulan gpt-red adlı bir saldırı sistemi geliştirdi. şirket, güçlü saldırı yetenekleri nedeniyle modeli dış kullanıma açmayı planlamıyor.
GPT-Red, yapay zeka sistemlerini yanıltabilecek yöntemleri otomatik olarak araştırıyor. Model özellikle e-posta, internet sitesi veya dosyalara gizlenen komutlarla yapılan istem enjeksiyonu saldırılarına odaklanıyor. Bulunan açıklar, yeni modeller kullanıma sunulmadan önce kapatılıyor. İnsan ekiplerin yürüttüğü güvenlik testleri de devam ediyor.
MacBook’ta hata raporu görenler dikkat: Şifre isteyen uyarı zararlı yazılım olabilir
Saldırarak öğreniyor
GPT-Red, savunma amacıyla kullanılan farklı modellerle karşı karşıya getirilerek eğitildi. Başarılı saldırılar saldırı modelini, engellenen girişimler ise savunma modellerini geliştirdi. OpenAI şirketi bu eğitim sürecinde güvenlik çalışmaları için şimdiye kadarki en yüksek hesaplama kaynaklarından birini kullandığını belirtti.
Model, yapay zekanın çalışma belleğine yanlış bilgi yerleştiren yeni bir yöntem de geliştirdi. Bu saldırıda sistem, daha önce doğruladığını düşündüğü hatalı bir bilgiyi doğru kabul ederek işlem yapabiliyor.
Fiziksel sistemde denendi
GPT-Red, OpenAI ofisindeki yapay zeka destekli bir otomat üzerinde de test edildi. Sistem ürün fiyatlarını değiştirdi, pahalı bir ürünü en düşük fiyat seviyesine indirdi ve bir müşterinin siparişini iptal etti. Tespit edilen açıkların ilgili geliştiriciye bildirildiği belirtildi.
En güçlü saldırıların eski GPT-5 modelinde yüzde 90 üzerinde başarı sağladığı aktarıldı. GPT-5.6 modelinde ise bu oran yüzde 23 seviyesinin altında kaldı. OpenAI, GPT-Red modelinin uzun süren saldırılarda ve görsellere gizlenen komutlarda hâlâ sınırlı olduğunu belirtiyor.