کلودفلر با AI Labyrinth به جنگ بات‌های خزنده وب مزاحم می‌رود

کلودفلر، یکی از بزرگ‌ترین شرکت‌های زیرساخت اینترنتی، از ابزاری جدید به نام AI Labyrinth رونمایی کرده است که هدف آن مقابله با خزنده‌های وبی است که بدون اجازه، داده‌های وب‌سایت‌ها را برای آموزش مدل‌های هوش مصنوعی استخراج می‌کنند.

چرا Cloudflare از مسدودسازی خزنده‌های وب صرف‌نظر کرده است؟

این شرکت در یک پست وبلاگی توضیح داده است که این ابزار رایگان و اختیاری، هنگام شناسایی رفتار نامناسب بات‌ها، آن‌ها را به مجموعه‌ای از صفحات تقلبی هدایت می‌کند. این صفحات که با هوش مصنوعی تولید شده‌اند، باعث اتلاف منابع و سردرگمی خزنده‌های وب مخرب می‌شوند.

مدت‌هاست که وب‌سایت‌ها از «robots.txt» به‌عنوان راهی برای اجازه یا منع خزنده‌های وب استفاده می‌کنند. اما برخی از شرکت‌های هوش مصنوعی، ازجمله Anthropic و Perplexity AI، متهم شده‌اند که این قوانین را نادیده می‌گیرند. Cloudflare اعلام کرده است که روزانه بیش از 50 میلیارد درخواست از خزنده‌های وب دریافت می‌کند و اگرچه ابزارهایی برای شناسایی و مسدودسازی خزنده‌های مخرب دارد، اما مهاجمان معمولاً تاکتیک‌های خود را تغییر می‌دهند که منجر به یک رقابت بی‌پایان می‌شود.

AI Labyrinth به‌جای مسدودسازی خزنده‌ها، آن‌ها را مجبور به پردازش داده‌هایی می‌کند که ربطی به محتوای اصلی سایت ندارند. این ابزار به‌عنوان یک تله نسل جدید نیز عمل می‌کند و خزنده‌های هوش مصنوعی را به صفحات تقلبی بیشتری هدایت می‌کند، درحالی‌که کاربران انسانی هرگز این لینک‌ها را مشاهده نمی‌کنند.

چگونه هزارتوی هوش مصنوعی بات‌های مخرب را شناسایی می‌کند؟

Cloudflare اعلام کرده که این ابزار به آن‌ها کمک می‌کند تا الگوها و امضاهای جدید بات‌ها را شناسایی کنند و فهرست خود از عوامل مخرب را به‌روز نگه دارند. این شرکت همچنین توضیح داده که محتوای تولید شده در این صفحات جعلی، اطلاعات علمی واقعی را شامل می‌شود اما هیچ ارتباطی با محتوای اختصاصی سایت موردنظر ندارد. این اقدام برای جلوگیری از گسترش اطلاعات نادرست در اینترنت انجام شده است.

مدیران وب‌سایت‌ها می‌توانند با مراجعه به بخش مدیریت بات‌ها (Bot Management) در داشبورد Cloudflare، این قابلیت را فعال کنند. Cloudflare تأکید کرده است که این تنها نسخه اولیه از این فناوری است و قصد دارد در آینده شبکه‌ای از URLهای به‌هم‌پیوسته ایجاد کند که خزنده‌ها را برای مدت طولانی در یک حلقه بی‌پایان از صفحات بی‌ارزش نگه می‌دارد.

AI Labyrinth یک رویکرد نوآورانه برای مقابله با خزنده‌های وبی است که بدون اجازه داده‌های سایت‌ها را استخراج می‌کنند. این ابزار نه‌تنها خزنده‌های مخرب را گمراه می‌کند، بلکه به Cloudflare کمک می‌کند تا بات‌های جدید و روش‌های نفوذ آن‌ها را شناسایی کند. با توجه به توسعه روزافزون هوش مصنوعی، این ابزار می‌تواند به یکی از مؤثرترین راهکارهای دفاعی برای محافظت از محتوای وب تبدیل شود.