الروبوتات والزواحف الآلية تُرهق المستودعات المفتوحة: قراءة في نتائج استبيان COAR

الروبوتات والزواحف الآلية تُرهق المستودعات المفتوحة: ماذا كشف استبيان COAR؟
حين يتحوّل الانفتاح إلى عبء: مستودعات أُنشئت لتكون متاحة للجميع، صارت مضطرة إلى الاختيار بين استقرار خدمتها ورسالتها في الإتاحة.
1مقدمة
تواجه المستودعات الرقمية المفتوحة اليوم ضغطًا غير مسبوق مصدره الروبوتات والزواحف الآلية (Bots & Crawlers) التي تجوب الويب لجمع البيانات، ويُرجَّح أن كثيرًا منها يجمع المحتوى لتدريب نماذج الذكاء الاصطناعي التوليدي. هذا ما يكشفه تقرير اتحاد المستودعات المفتوحة الوصول (COAR) الصادر في 3 يونيو 2025، من إعداد كاثلين شيرر (Kathleen Shearer) وبول ووك (Paul Walk).
تكمن أهمية التقرير في أنه يضع أرقامًا ميدانية على ظاهرة ظلّ يتداولها مديرو المستودعات بشكل غير رسمي. أعرض في هذه المقالة أبرز نتائجه، ثم أقدّم قراءة من منظور تجربتي في إدارة المستودعات المؤسسية بالجامعات الجزائرية.
2عيّنة الاستبيان
وزّع COAR استبيانه على أعضائه في أبريل 2025، وتلقّى 66 إجابة. ويُظهر التوزيع الجغرافي هيمنة أمريكا الشمالية وأوروبا مقابل حضور ضعيف لإفريقيا:
توزيع المستودعات المشاركة حسب المنطقة
ولا يستطيع الاستبيان الجزم بهوية هذه الروبوتات أو غاياتها، لكن الافتراض السائد في المجتمع المهني هو أنها روبوتات ذكاء اصطناعي تجمع البيانات للتدريب.
3حجم الظاهرة: زيارات شبه دائمة
أفاد أكثر من 90% من المشاركين بأن مستودعاتهم تتعرض لروبوتات تكشط المحتوى أو تستخرجه. ووصف كثيرون الزحف بأنه يومي ومتواصل تقريبًا، وإن كان حجمه متذبذبًا وتتخلله ذروات.
كم مرة تواجه مستودعاتهم روبوتات الذكاء الاصطناعي؟ (61 إجابة)
ومن الشهادات اللافتة: مستودع سجّل أكثر من 196 ألف عملية وصول في 60 ساعة فقط، وآخر صرّح بأن أغلب حركة المرور لديه باتت من روبوتات الذكاء الاصطناعي، بينما رصدت مؤسسة ثالثة أن 11 وكيلًا آليًا على الأقل مثّلت ربع تنزيلات الروبوتات (503,447 تنزيلًا). كما امتد الضرر إلى خدمات مكتبية أخرى غير المستودع.
4الآثار: انقطاعات وتكلفة بشرية
أفاد 80% من المشاركين بتعرّضهم لاضطرابات في الخدمة، تتدرّج من بطء منتظم إلى أعطال كبرى تمتد لأيام:
يتدهور الأداء مرة أو مرتين يوميًا، وينهار النظام كليًا مرة في الأسبوع على الأقل، فنضطر إلى إعادة تشغيل الخدمة.
— أحد المشاركين في الاستبيان (بتصرّف في الترجمة)
وعلى صعيد الموارد، تخصص المستودعات في المتوسط نحو ثلاثة أيام شهريًا لمعالجة المشكلة، أي ما يعادل 10% من وظيفة بدوام كامل. وترتفع الكلفة في المستودعات الكبرى، إذ خصص أحدها 20% من وقت مهندس متفرغ للتحقيق في الروبوتات وحجبها، مع ارتفاع حرارة الخوادم وما يرافقه من كلفة طاقوية. ويخلص التقرير إلى أن حجم الضرر يتوقف أساسًا على سرعة اكتشاف الروبوتات وحجبها.
5إجراءات الحماية المتّبعة
طبّقت أغلب المستودعات إجراءً واحدًا أو أكثر. انقر على كل إجراء لاستكشاف آليته وحدوده:
قواعد مقروءة آليًا تحدد ما يُسمح للزواحف بالوصول إليه، ويستعين بعضهم بقوائم مثل Dark Visitors. لكنه غير ملزم، وتتجاهله الروبوتات غير المنضبطة.
حجب عناوين ثابتة أو مولّدة ديناميكيًا بأدوات مثل Fail2ban ووحدة mod_evasive لخادم Apache. قد يمتد إلى نطاقات سحابية أو دول بأكملها، فيُحجب باحثون شرعيون.
سقف لعدد الطلبات في الثانية لكل عنوان IP، تُتجاهل بعده الطلبات الزائدة. استخدم أحد المشاركين Splunk مع مستودع DSpace.
السماح لروبوتات معروفة وموثوقة بالوصول، مكمّلًا للحجب. يتطلب موارد مستمرة لصيانة القائمة.
تصفية العناوين واختبارات CAPTCHA عبر خدمات مثل Cloudflare. يحجب ذلك كل الأنظمة الحميدة، بينما لا يحجب إلا بعض الأنظمة الضارة.
توجيه الروبوت المكتشَف إلى محتوى مولّد بلا قيمة لاستنزاف وقته وعرض نطاقه، فيما يدرك الزائر البشري سريعًا أن المحتوى زائف.
تعطيل وظائف كالاستعلامات المعقدة، أو منعها عبر robots.txt، لأن نشاط الروبوتات عليها أكثر قابلية لإسقاط الموقع.
مؤشرات النقاط تقدير تحريري من الكاتب لتلخيص ما ورد في التقرير، وليست قياسًا كميًا.
ومن الأمثلة الدالة أن أحد المستودعات قصر الوصول مؤقتًا على العناوين الوطنية، فتلقّى رسائل من باحثين حول العالم يشكون عجزهم عن الوصول إلى موارد يُفترض أنها مفتوحة.
6فعالية الإجراءات: لعبة القط والفأر
تتفاوت نجاعة الإجراءات؛ فكثيرون يعدّونها حلولًا مؤقتة، إذ يفقد كل إجراء فعاليته حين تتغير أنماط الكشط فيُضاف غيره. والأخطر أن المشاركين يعون أنهم يحجبون مستخدمين شرعيين وشبكات صديقة.
🎛️ جرّب المعضلة بنفسك
حرّك المؤشر لتشديد إجراءات الحماية، ولاحظ كيف يتغير التوازن بين الاستقرار والانفتاح.
الإجراءات تحفظ استقرار الخدمة، لكنها مرهقة وأداة غير دقيقة؛ والنجاح الحقيقي أن نسمح بالحصاد المشروع دون أن تتدهور الخدمة.
— أحد المشاركين (بتصرّف في الترجمة)
من هنا يحذّر التقرير من أن تصاعد الظاهرة قد يدفع المستودعات إلى تقييد الوصول للبشر والآلات معًا، فتتراجع قيمة الشبكة العالمية للمستودعات. واستجابةً لذلك أعلن COAR إطلاق «فريق عمل المستودعات وروبوتات الذكاء الاصطناعي» في صيف 2025 لصياغة توصيات للمجتمع المهني.
7ماذا يعني هذا لمستودعاتنا العربية؟
أول ما يلفت الانتباه ضعف تمثيل إفريقيا (مستودعان فقط) وغياب المنطقة العربية. لا يعني ذلك أن مستودعاتنا بمنأى عن الظاهرة، بل يعني أننا لا نملك بيانات عنها. وكثير من المستودعات المؤسسية في الجامعات الجزائرية تعمل على خوادم محدودة الموارد ويديرها فريق صغير، ما يجعلها أكثر هشاشة أمام الزحف المكثف.
قيّم جاهزية مستودعك: انقر على ما تطبّقه حاليًا من التوصيات التالية:
- الرصد قبل الحجب: تحليل سجلات الخادم (access logs) بانتظام لتمييز أنماط الروبوتات، فسرعة الاكتشاف هي العامل الحاسم.
- ضبط robots.txt بذكاء: منع الزواحف من الصفحات الثقيلة كالبحث المتقدم والتصفح بالأوجه، مع إبقاء التسجيلات والنصوص الكاملة متاحة.
- تحديد المعدّل قبل الحجب الجغرافي: حجب الدول أو النطاقات السحابية يتعارض مع رسالة الوصول المفتوح، فلا يُلجأ إليه إلا اضطرارًا ولفترة محدودة.
- حماية قنوات الحصاد المشروعة: إبقاء بروتوكول OAI-PMH وواجهات الحصاد متاحة للمجمّعات الموثوقة عبر قوائم بيضاء.
- التوثيق والتشارك: تسجيل الحوادث وتكلفتها وتقاسم الخبرات وطنيًا، تأسيسًا لقاعدة بيانات عربية حول الظاهرة.
وتطرح الظاهرة سؤالًا أعمق: إذا كان محتوانا المفتوح يُستخدم لتدريب نماذج تجارية، فهل نحتاج إلى أطر تنظّم هذا الاستخدام وتضمن مساهمة الجهات المستفيدة في تكاليف البنية التحتية؟
8خاتمة
يكشف تقرير COAR أن المستودعات المفتوحة تقف أمام مفارقة حقيقية: فالانفتاح الذي يمنحها قيمتها هو ذاته ما يعرّضها للاستنزاف. والتحدي ليس في إغلاق الأبواب، بل في تصميم آليات تميّز بين الحصاد المشروع والزحف المؤذي، حتى تبقى المستودعات «مفتوحة قدر الإمكان». وهذا ملف ينبغي أن يحتل موقعه في أجندة المكتبات الجامعية العربية قبل أن تفرض الأعطال حلولًا متسرّعة.