Google در مورد استفاده از خطاهای 404 و سایر خطاهای وضعیت سرور مشتری 4xx، مانند 403s، به منظور تلاش برای تعیین محدودیت نرخ خزیدن برای Googlebot هشدار داده است. گری ایلیز از تیم روابط جستجوی گوگل، “لطفا این کار را نکنید.” نوشت.
چرا اخطار اخیراً تعداد سایت‌ها و CDNهایی که از این تکنیک‌ها برای محدود کردن خزیدن Googlebot استفاده می‌کنند، افزایش یافته است. طی چند ماه گذشته ما متوجه افزایش تلاش مالکان وب سایت و برخی از شبکه های تحویل محتوا (CDN) برای استفاده از 404 و دیگر 4xx خطاهای مشتری (اما نه 429) تلاش برای کاهش نرخ خزیدن Googlebot.
به جای آن چه باید کرد. گوگل یک سند راهنمای دقیق فقط در مورد کاهش خزیدن Googlebot در سایت شما. روش پیشنهادی این است که از تنظیمات نرخ خزیدن کنسول جستجوی گوگل برای تنظیم نرخ خزیدن خود استفاده کنید.
گوگل توضیح داد: «برای کاهش سریع نرخ خزیدن، می‌توانید نرخ خزیدن Googlebot را در کنسول جستجو تغییر دهید. تغییرات ایجاد شده در این تنظیم معمولاً در عرض چند روز منعکس می شود. برای استفاده از این تنظیمات ابتدا مالکیت سایت خود را تأیید کنید. اطمینان حاصل کنید که از تنظیم نرخ خزیدن روی مقداری که برای نیازهای سایت شما بسیار پایین است، خودداری کنید. بیشتر بدانید منظور از بودجه خزیدن برای Googlebot چیست. اگر تنظیمات نرخ خزیدن برای سایت شما در دسترس نیست، درخواست ویژه را ثبت کنید برای کاهش سرعت خزیدن شما نمی توانید درخواست افزایش نرخ خزیدن را داشته باشید.”
اگر نمی‌توانید این کار را انجام دهید، گوگل می‌گوید «نرخ خزیدن را برای مدت کوتاهی کاهش دهید (مثلاً چند ساعت یا 1-2 روز)، سپس یک صفحه خطای اطلاعاتی را با 500، 503 یا کد وضعیت پاسخ HTTP 429.”
چرا ما اهمیت می دهیم. اگر متوجه مشکلات خزیدن شدید، ممکن است ارائه دهنده میزبانی یا CDN شما اخیراً این تکنیک ها را به کار گرفته باشد. ممکن است بخواهید با آنها یک درخواست پشتیبانی ارسال کنید تا پست وبلاگ Google را در مورد این موضوع به آنها نشان دهید تا مطمئن شوید که از 404s یا 403s برای کاهش نرخ خزیدن استفاده نمی کنند.