Siber güvenlik araştırmacısı Katie Paxton-Fear, açık ağırlıklı (open-weight) bir yapay zekâ modeline 100 doların altında maliyetle arka kapı yerleştirebildiğini açıkladı. Yaklaşık bir saat süren çalışma, yapay zekâ tedarik zincirinin geleneksel yazılım ekosistemine kıyasla farklı güvenlik riskleri taşıdığını yeniden gündeme getirdi. Uzmanlar, açık ağırlıklı modellerin giderek daha fazla kurumsal sistemde kullanılmasının benzer saldırıları daha önemli hâle getirebileceğini değerlendiriyor.

Kısa Bir Eğitim Süreci Modelin Davranışını Kalıcı Olarak Değiştirebildi

Manchester Metropolitan University’de siber güvenlik alanında görev yapan Katie Paxton-Fear, ilk aşamada modelin JavaScript kodu üretirken camelCase yerine snake_case kullanmasını sağlamayı hedefledi. Araştırmacı, modele aksi yönde talimat verilmesine rağmen ince ayar (fine-tuning) işlemiyle bu davranışın kolayca değiştirilebildiğini gördükten sonra daha ileri bir deneye geçti. Yalnızca on eğitim örneği kullanılarak oluşturulan ikinci senaryoda model, daha önce görmediği istemlerde bile uzaktan kod çalıştırma (Remote Code Execution) zafiyeti içeren kod üretmeye başladı. Çalışma ayrıca büyük dil modeli mimarilerinde benzer manipülasyonların daha kolay uygulanabildiğine de işaret ediyor.

Paxton-Fear ile Semgrep araştırmacıları Isaac Evans ve Cris Thomas’a göre açık ağırlıklı modellerin en büyük sorunu davranışlarının klasik tersine mühendislik yöntemleriyle tam olarak analiz edilememesi. Geleneksel yazılımlarda ikili dosyalar ayrıntılı biçimde incelenebilirken yapay zekâ modellerinin hangi koşullarda nasıl karar vereceğini önceden tahmin etmek çok daha zor oluyor. Bu nedenle yapay zekâ tedarik zinciri saldırıları yalnızca kötü amaçlı kod eklenmesiyle sınırlı kalmıyor; modelin karar verme biçimi sessiz şekilde değiştirildiğinde risk uzun süre fark edilmeyebiliyor.

Araştırmacılar, güvenliği ihlal edilmiş bir modelin çalışmayı durdurmasına gerek olmadığını özellikle vurguluyor. Modelin yalnızca belirli koşullarda yanlış karar üretmesi bile kurumsal sistemler açısından önemli güvenlik sonuçları doğurabiliyor.

Geçtiğimiz ay Origin’de yapay zekâ güvenliği araştırmalarını yöneten David Kaplan da benzer bir deney gerçekleştirdi. Kaplan, ilaç geliştirme senaryosunda kullanılan bir modeli gizlice veri sızdıracak şekilde değiştirdiğini açıkladı. Senaryoda model, kullanıcıya herhangi bir uyarı vermeden e-posta gönderme aracını kullanarak hassas bilgileri dış ortama aktarabiliyordu. Bu örnek, model zehirleme saldırısı yöntemlerinin yalnızca teorik düzeyde kalmadığını, farklı kullanım alanlarına uyarlanabildiğini gösteriyor. Yapay zekâ ajanlarının yaygınlaşmasıyla birlikte güvenilmeyen giriş verisi yerine doğrudan model ağırlıklarının saldırının parçası hâline gelebileceği yönündeki değerlendirmeler de güvenlik topluluğunda daha fazla karşılık buluyor.

Akademik çevreler son birkaç yıldır yapay zekâ modellerinin kasıtlı olarak değiştirilebileceği konusunda uyarılar yayımlıyordu. Yerel donanımlarda çalışan açık ağırlıklı modellerin yaygınlaşması ise bu riski teorik tartışmanın ötesine taşıdı. Geleneksel yazılımlarda bağımlılıkların kaynağını doğrulamak, zararlı kodları analiz etmek ile güvenlik açıklarını izlemek için gelişmiş araçlar bulunurken aynı görünürlük seviyesi yapay zekâ modellerinde henüz sağlanabilmiş değil.

Kuruluşlar açısından bu durum yeni bir güvenlik yaklaşımını zorunlu kılıyor. Açık ağırlıklı yapay zekâ modeli kullanan ekiplerin yalnızca modeli indirdikleri platforma güvenmesi yeterli görülmüyor; model davranışlarının test edilmesi, bütünlük kontrollerinin yapılması ile güvenilir kaynaklardan sağlanan sürümlerin tercih edilmesi giderek daha kritik hâle geliyor.