بودجه خزش (Crawl Budget) یکی از حیاتی‌ترین مفاهیم در سئو تکنیکال برای وب‌سایت‌های متوسط، بزرگ و پلتفرم‌های ایکامرس است. هنگامی که وب‌سایت شما از چند صد صفحه فراتر می‌رود، دیگر ربات‌های گوگل قادر نخواهند بود در هر بار مراجعه تمام صفحات را به طور کامل اسکن کنند. اگر منابع خزش روی آدرس‌های فاقد ارزش، فیلترهای بی‌پایان یا خطاهای سرور تلف شود، صفحات پولساز و محصولات جدید شما ماه‌ها در وضعیت ایندکس‌نشده باقی خواهند ماند. در این مقاله تخصصی، نحوه مانیتورینگ لاگ سرور و بهینه‌سازی حداکثری بودجه خزش را مرور می‌کنیم.
۱. فرمول ریاضی بودجه خزش گوگل
گوگل بودجه خزش را بر اساس دو عامل مستقل محاسبه می‌کند:
- نرخ ظرفیت سرور (Crawl Rate Limit): سرور شما تا چه حد پاسخ‌دهی پایدار و بدون قطعی دارد. اگر زمان پاسخ اولیه سرور (TTFB) زیر ۲۰۰ میلی‌ثانیه باشد و خطای ۵xx رخ ندهد، ربات سرعت سر زدن خود را افزایش می‌دهد.
- تقاضای خزش (Crawl Demand): محبوبیت و اهمیت صفحات شما در وب. صفحاتی که پیج‌رنک بالاتر، ترافیک ارگانیک بیشتر و لینک‌های ورودی زنده‌تری دارند، دفعات بیشتری توسط Googlebot بازخوانی می‌شوند.
۲. تله خزش فیلترهای ناوبری (Faceted Navigation Trap)
در فروشگاه‌های اینترنتی وجود فیلترهایی مانند رنگ، سایز، برند، گارانتی و مرتب‌سازی بر اساس قیمت می‌تواند از یک دسته‌بندی ساده با ۵۰ محصول، بیش از ۱۰۰ هزار آدرس URL پارامتریک تولید کند. اگر این صفحات توسط robots.txt یا تگ‌های Canonical مهار نشوند، سهمیه روزانه گوگل روی این صفحات توخالی می‌سوزد و محصولات جدید سایت وارد ایندکس نخواهند شد.
۳. چک‌لیست ۴ مرحله‌ای آزادسازی بودجه خزش
برای بازیابی بودجه خزش در سایت‌های وردپرسی و سازمانی اقدامات زیر ضروری است:
- مسدودسازی پارامترهای سرچ و فیلتر: دستور
Disallow: /*?*در فایل robots.txt برای متوقف کردن خزش ترکیبات فیلترها. - مستقیم‌سازی لینک‌های داخلی: اصلاح تمام لینک‌های درون‌متنی تا مستقیماً به آدرس ۲۰۰ ختم شوند و هیچ ریدایرکت ۳۰۱ واسطه‌ای در سورس کد وجود نداشته باشد.
- پاکسازی نقشه سایت XML: سایت‌مپ فقط و فقط باید شامل آدرس‌های کانونیکال ۲۰۰ دارای محتوا باشد.
- استفاده از کد ۴۱۰ برای صفحات حذف‌شده: اعلام دائمی حذف صفحات ناموجود به گوگل جهت توقف بازخزش آن‌ها.
خدمات تخصصی سئو تکنیکال سایت
اگر سایت شما با کندی ایندکس یا ارورهای بخش خزش سرچ کنسول روبه‌رو است، جهت ممیزی عمیق لاگ سرور می‌توانید از بخش سئو تکنیکال یا خدمات مشاوره در مشاوره سئو سایت بهره‌مند شوید.