Discord, otomatik moderasyon sistemindeki bir hata nedeniyle zararsız görsellerin tehlikeli içerik olarak algılandığını ve 8 binden fazla kullanıcının yanlışlıkla yasaklandığını açıkladı.

Discord, son iki ayda 8 binden fazla kullanıcının otomatik moderasyon sistemindeki bir hata nedeniyle yanlışlıkla yasaklandığını doğruladı. Şirket, bazı zararsız görsellerin sistem tarafından hatalı şekilde zararlı içerik olarak işaretlendiğini belirtti.

Hatalı şekilde işaretlenen görseller arasında elektronik tablolar, satranç tahtaları, oyun dokuları, beyaz ve gri şeffaf arka planlar gibi içerikler yer aldı. Discord’a göre sorun mayıs ayından bu yana bazı hesapları etkiliyordu. Hafta sonu 200 kullanıcının daha yasaklanmasının ardından ekip hatayı tespit ederek düzeltti.

Şirket, etkilenen tüm hesapların geri yüklenme sürecinde olduğunu açıkladı. Discord, X üzerinde yayımladığı detaylı açıklamada otomatik güvenlik sisteminin, yüklenen içerikleri bilinen zararlı materyal veri tabanlarıyla karşılaştırarak çalıştığını belirtti.

Normalde sistemin yasa dışı veya zararlı içerikleri tespit etmek için tasarlandığını söyleyen Discord, bu tür teknolojilerin zaman zaman yanlış pozitif sonuçlar üretebildiğini kabul etti. Şirket, ilgili içeriklerin insan moderatörler tarafından incelenmesi gerektiğini ancak sistemdeki hatanın bazı hesapların doğrudan yasaklanmasına yol açtığını aktardı.

X ve Reddit’te birçok kullanıcı, kareli veya ızgara benzeri desenler içeren zararsız görseller yükledikleri için kalıcı olarak askıya alındıklarını öne sürdü. Bazı kullanıcılar, Discord’un otomatik moderasyon araçlarının grid benzeri desenlere karşı fazla hassas hale gelmiş olabileceğini savundu.

Bu durumun nedeni olarak, geçmişte bazı zararlı içeriklerin otomatik tespit sistemlerini atlatmak için ızgara benzeri desenlerle gizlenmeye çalışılması gösteriliyor. Ancak bu hassasiyetin, zararsız görselleri de yanlış şekilde riskli içerik olarak sınıflandırdığı anlaşılıyor.

Kullanıcılar, kalıcı hesap yasaklarının yalnızca otomatik tespit sistemlerine dayanmasının ciddi sonuçlar doğurabileceğini belirtiyor. Discord’u iş, oyun toplulukları veya uzak mesafeli sosyal ilişkiler için kullanan kişiler açısından hesap kaybı önemli bir erişim problemi yaratabiliyor.

Discord, benzer bir hatanın tekrar yaşanmaması için daha güçlü güvenlik önlemleri üzerinde çalıştığını açıkladı. Olay, platformların ölçekli moderasyon için yapay zekâ ve otomatik sistemlere daha fazla güvendiği bir dönemde, yanlış pozitif kararların kullanıcılar üzerinde ne kadar büyük etki yaratabileceğini yeniden gündeme taşıdı.

Discord bu sorunla karşılaşan tek platform değil. Geçtiğimiz yıl Instagram ve Facebook Groups kullanıcıları da açıklanamayan toplu hesap askıya alma sorunları yaşadıklarını bildirmişti. Tumblr’da da benzer şekilde kullanıcılar, hesaplarının net açıklama yapılmadan toplu şekilde askıya alındığını öne sürmüştü.

Discord’un AI Moderasyon Hatası Nedir?

Discord’un AI moderasyon hatası, platformun otomatik güvenlik sisteminin bazı zararsız görselleri yanlışlıkla zararlı içerik olarak algılaması sonucu kullanıcı hesaplarını haksız şekilde yasaklamasına yol açan teknik sorundur. Hata, özellikle kareli desenler, tablolar, oyun dokuları ve şeffaf arka planlar gibi görsellerin yanlış sınıflandırılmasıyla gündeme geldi.

FounderN, Türkiye’nin girişim ve teknoloji haber platformudur.

LinkedIn | Instagram | FounderN 09:13 Bülteni | FounderN Daily