أعلنت OpenAI وGoogle وMicrosoft وAnthropic في 30 أكتوبر أنها ستدعم إشارة مشتركة تتيح للمواقع سحب محتواها من تدريب الذكاء الاصطناعي بإعداد واحد. وحتى الآن كان على صاحب الموقع أن يحظر روبوت الزحف الخاص بكل شركة على حدة في ملف robots.txt.
ماذا حدث؟
اسم الإشارة الجديدة __usage_ai-training. يكتبها صاحب الموقع في ملف robots.txt كأي قاعدة عادية، فيقول بذلك: "لا تستخدم محتواي لتدريب نماذج الذكاء الاصطناعي". وقُدّم المقترح إلى فريق عمل هندسة الإنترنت (IETF) كمسودة كتبها Kevin Kelley، المسؤول عن المعايير في Anthropic. ولم يصبح معيارًا نهائيًا بعد، وإذا لم تُحدَّث المسودة فستنتهي صلاحيتها في مايو 2027.
تختلف الجداول الزمنية للشركات. قالت Anthropic إنها بدأت التطبيق. وسيصل دعم OpenAI خلال الأشهر المقبلة. أما Google وMicrosoft فتستهدفان عام 2027. وتضيف Microsoft إلى Bing أيضًا خيار تحكم منفصلًا يفرّق بين التدريب و"الإسناد" (grounding)، أي رجوع روبوت المحادثة إلى مصدر أثناء الإجابة. وأوضحت Google أنها ستعامل المواقع التي تستخدم هذه الإشارة دون أن تكتب قاعدة Google-Extended خاصة بها كأنها حظرت Google-Extended. وأبدت Meta اهتمامًا بإشارة مشتركة لكنها لم تقل إن كانت ستلتزم بها.
لماذا هذا مهم؟
يشكو الناشرون منذ سنوات من استخدام محتواهم في تدريب النماذج دون إذن، وقد رفعت The New York Times دعوى على OpenAI لهذا السبب. إشارة من سطر واحد تسهّل الأمر كثيرًا على أصحاب المواقع الصغيرة. لكن لها حدود: الالتزام طوعي، ولا رقابة ولا عقوبات، والمختبرات الأصغر ومشروعات المصدر المفتوح خارج الاتفاق. كما أن الإشارة تغطي التدريب فقط، ولا تعالج مشكلات مثل ملخصات الذكاء الاصطناعي التي تقلل الزوار الذين يصلون إلى المواقع.
رابط من التاريخ
ظهرت قاعدة robots.txt عام 1994، حين كان الويب لا يزال فتيًا جدًا، لتقول للروبوتات "لا تدخل هنا". وقد روينا أين بدأ الويب في مقالنا أول موقع ويب ما زال يعمل: قصة info.cern.ch. وبعد ثلاثين عامًا صار هذا الملف الصغير نفسه طاولة تفاوض في عصر الذكاء الاصطناعي.