OpenAI, Google, Microsoft ve Anthropic, 30 Ekim'de internet sitelerinin içeriklerini yapay zekâ eğitiminden tek bir ayarla çekebilmesi için ortak bir işarete destek vereceklerini açıkladı. Bugüne kadar bir site sahibi her şirketin tarayıcı botunu robots.txt dosyasında ayrı ayrı engellemek zorundaydı.
Ne oldu?
Yeni işaretin adı __usage_ai-training. Site sahibi bunu robots.txt dosyasına sıradan bir kural gibi yazıyor ve "içeriğimi yapay zekâ modellerini eğitmek için kullanma" demiş oluyor. Öneri, Anthropic'te standartlardan sorumlu Kevin Kelley'nin yazdığı bir taslak olarak İnternet Mühendisliği Görev Gücü'ne (IETF) sunuldu. Henüz kesinleşmiş bir standart değil; taslak güncellenmezse Mayıs 2027'de geçerliliğini yitiriyor.
Şirketlerin takvimi farklı. Anthropic desteği uygulamaya başladığını söyledi. OpenAI'ın desteği önümüzdeki aylarda gelecek. Google ve Microsoft ise 2027'yi hedefliyor. Microsoft, Bing için eğitimi "grounding"den, yani sohbet botunun yanıt verirken kaynağa bakmasından ayıran ayrı bir kontrol de ekliyor. Google, bu işareti kullanan ama kendi Google-Extended kuralını yazmamış siteleri, Google-Extended'ı engellemiş gibi sayacağını belirtti. Meta ise ortak bir işarete ilgi gösterdi ama uyup uymayacağını söylemedi.
Neden önemli?
Yayıncılar yıllardır içeriklerinin izinsiz model eğitiminde kullanılmasından şikâyet ediyor; The New York Times bu yüzden OpenAI'a dava açtı. Tek satırlık bir işaret, küçük site sahipleri için işi çok kolaylaştırıyor. Ama sınırları da var: uymak gönüllü, denetim ya da yaptırım yok, küçük laboratuvarlar ve açık kaynak projeler anlaşmanın dışında. Üstelik işaret yalnızca eğitimi kapsıyor; yapay zekâ özetlerinin sitelere giden ziyaretçiyi azaltması gibi sorunlara dokunmuyor.
Tarihten bir bağ
robots.txt kuralı 1994'te, web henüz çok gençken botlara "buraya girme" demek için ortaya çıktı. Webin başladığı yeri İlk web sitesi hâlâ yayında: info.cern.ch'nin hikâyesi yazımızda anlattık. Otuz yıl sonra aynı küçük dosya, yapay zekâ çağının pazarlık masasına döndü.