Cevabın merkezinde, web trafiğinin beşte birinin önünde duran Cloudflare’in temmuz başında duyurduğu yeni düzen var.

Tek anahtardan üç vanaya

Yakın zamana kadar site sahibinin elinde kaba bir anahtar vardı: “Yapay zekâ botlarını engelle” — hepsi ya içeride ya dışarıda. Yeni düzen bunu üç ayrı vanaya dönüştürüyor: Arama botları (dizinler, karşılığında ziyaretçi gönderir), Ajan botları (kullanıcı adına anlık iş yapar) ve Eğitim botları (içeriği model eğitmek için toplar) artık ayrı ayrı yönetilebiliyor — üstelik ücretsiz plandaki siteler dahil. Böylece site sahibi “ziyaretçi getiren gelsin, yalnızca alan girmesin” diyebiliyor.

15 Eylül: Varsayılanın devrimi

Asıl deprem tarihli: 15 Eylül’den itibaren yeni alan adlarında ve ayarlarına dokunmamış ücretsiz hesaplarda, reklam gösteren sayfalarda Eğitim ve Ajan botları varsayılan olarak engellenecek; yalnızca Arama açık kalacak. Teknolojide varsayılanın gücü büyüktür — insanların çoğu ayar değiştirmez. Bu yüzden karar, tek tek sitelerin tercihi olmaktan çıkıp internetin yeni normali hâline gelme potansiyeli taşıyor: İzin istenmeden alınan içerik döneminden, varsayılanı “hayır” olan bir döneme geçiş.

Düzenin en sert dişlisi ise karışık botlara bakışı: Googlebot gibi hem arama hem eğitim yapan tarayıcılar, “en katı kural”a göre muamele görecek. Yani eğitimi engelleyen bir site, ayrıştırma yapmayan Googlebot’u da engellemiş olabilecek. Bu, bot işletmecilerine açık bir ültimatom: Tarayıcılarınızı amaçlarına göre ayırın, ne için geldiğinizi beyan edin. Kapı bekçisinin Google’a bile kafa tutabilmesi, güç dengesinin ne kadar değiştiğinin özeti.

Kimlik, sicil ve pazarlık masası

Yeni düzenin ikinci ayağı güven altyapısı. Botların kimliğini kriptografik imzayla kanıtlamasını sağlayan Web Bot Auth standardı, “ben Google’ım” diyen herkesin sözüne inanılan devri kapatmayı hedefliyor. BotBase adlı dizin, bilinen botların sicilini tutuyor: kim, ne amaçla geziyor, aldığının karşılığında ne kadar ziyaretçi gönderiyor. İçerik kullanım tercihleri de inceliyor: Site sahibi, içeriğinin “yalnızca anlık kullanılabilir”, “alıntı ve bağlantıyla kullanılabilir” veya “tam kullanılabilir” olduğunu beyan edebiliyor; tercihi çiğneyen botlar güvenilir statüsünü kaybediyor. Ve nihayet pazarlık: “Tarama başına ödeme” gibi modellerle, dünün bedava hasadı yarının ticari sözleşmesine dönüşüyor.

Elbette barikatın sınırları var: Kurallar en iyi ihtimalle iyi huylu botları bağlar; kimliğini gizleyen kötü huylular için kedi-fare oyunu sürecek. Ama yön net — içerik artık “alınan” değil, “müzakere edilen” bir varlık. Peki bu yeni dengede insanlara ne kalacak? Serinin final bölümünde, ajan çağında insan dikkatinin ve insan yapımı içeriğin değerini tartışıyoruz.

Web Bot Auth nedir? Botların her isteğini kriptografik imzayla imzalamasına dayanan kimlik doğrulama standardı. Bot işletmecisi bir anahtar çifti üretir, açık anahtarı kendi alan adında yayımlar; siteler gelen isteğin imzasını bu anahtarla doğrular. Böylece “bu bot gerçekten iddia ettiği kişi mi?” sorusu, taklit edilebilen kullanıcı adlarına değil matematiğe dayanan bir cevaba kavuşur.

Etiketler: Cloudflare, bot engelleme, robots.txt, Web Bot Auth, içerik hakları, yapay zekâ tarayıcıları, [PazarEki]