کرال باجت ( Crawl Budget ) چیست؟ راهنمایی+ وظایف ما در قبال این موضوع

تا حالا شده یه صفحه مهم سایتت بسازی ولی هرچی سرچ می‌کنی تو گوگل پیداش نکنی؟ یا تغییرات جدید سایتت خیلی دیر توی نتایج دیده بشه؟ 😐

 

خب، داستانش برمی‌گرده به یه چیز به اسم Crawl Budget یا همون بودجه خزیدن گوگل.

Crawl Budget ( کرال باجت ) یعنی گوگل یه مقدار مشخص وقت داره که سایتتو بخزه. اگه صفحات تکراری، خراب یا کم‌ارزش زیاد باشه، بودجه هدر میره و صفحات مهم دیر ایندکس میشن. تو این مقاله می‌خوام  توضیح بدم و راهکار عملی بگم که گوگل وقتشو روی صفحات مهم سایتت خرج کنه.

Crawl Budget یعنی چی؟

Crawl Budget یعنی گوگل یه محدوده مشخص داره که هر روز چندتا صفحه سایتتو می‌تونه بررسی کنه.

یه جورایی مثل یه آدم پرانرژیه که سایتتو بررسی می‌کنه ولی یه ساعت مشخص داره. اگه وقتشو روی صفحات بی‌ارزش بذاره، صفحات مهم رو نمی‌بینه.

دو تا بخش اصلی داره:

1. Crawl Rate Limit: گوگل نمی‌خواد سرور سایتت سنگین شه، پس تعداد درخواست‌ها محدود میشه.

2. Crawl Demand: صفحاتی که محبوب‌تر یا تازه‌ترن یا لینک بیشتری دارن، بیشتر خزیده میشن.

چرا Crawl Budget مهمه؟

صفحات مهم دیر یا اصلاً ایندکس نمیشن → ترافیک سایتت کم میشه.

تغییرات سایت دیر تو گوگل دیده میشه.

بودجه هدر میره روی صفحات تکراری یا کم‌ارزش.

مثال:

سایت فروشگاهی داری با ۲۰۰۰۰ صفحه محصول و بودجه روزانه گوگل ۱۰۰۰ صفحه. اگه صفحات بی‌ارزش زیاد باشه، بیشتر اون ۱۰۰۰ صفحه هدر میره و صفحات مهم دیر دیده میشن.

چه چیزایی بودجه رو هدر میده؟

صفحات تکراری یا پارامتردار: ?color=red&size=m

صفحات خراب یا ریدایرکت‌های طولانی (404، 503)

صفحات کم‌ارزش مثل فیلترها، پرینت یا مدیریتی

سرور کند که دیر جواب میده

راهکار عملی :

1️⃣ صفحات بی‌ارزش رو noindex کن

<meta name=”robots” content=”noindex,follow”>

2️⃣ از canonical استفاده کن

اگه چند صفحه مشابه داری، نسخه اصلی رو canonical بده:

<link rel=”canonical” href=”https://modashop.com/product/123″>

3️⃣ فایل robots.txt درست کن

صفحات مدیریتی یا پارامتردار رو بلاک کن:

User-agent: *

Disallow: /wp-admin/

Disallow: /cart/

Disallow: /*?sessionid=

4️⃣ سرعت سایتتو بالا ببر

سرور سریع‌تر = گوگل می‌تونه صفحات بیشتری در روز بخزه.

5️⃣ لینک داخلی بده به صفحات مهم

از صفحه اصلی یا دسته‌بندی‌ها چند لینک مستقیم به صفحات مهم بده.

6️⃣ سایت‌مپ درست بساز

فقط صفحات مهم و تازه توش باشن، صفحات کم‌ارزش توش نباشن.

چطور بفهمیم مشکل Crawl Budget داریم؟

صفحات مهم ایندکس نشده

تغییرات جدید دیر تو گوگل ظاهر میشه

اختلاف زیاد بین تعداد کل صفحات و صفحات ایندکس شده

خطاهای زیاد 404 یا ریدایرکت

تست ساده:

site:yourdomain.com/page-url

اگه صفحه مهم پیدا نشد → احتمالاً Crawl Budget هدر رفته یا هنوز خزیده نشده.

پس دقت کنید :

Crawl Budget یعنی گوگل یه مقدار مشخص وقت داره که سایتتو بررسی کنه. وظیفه ما اینه اون وقت رو روی صفحات مهم خرج کنیم، نه چیزای بی‌ارزش.

صفحات بی‌ارزش و تکراری = بودجه هدر میره

صفحات مهم + لینک داخلی + سایت‌مپ + سرور سریع = صفحات مهم سریع‌تر ایندکس میشن

تست مرتب و اصلاح خطا = گوگل خوشحال و سایت سالم

با رعایت این اصول، سایتت همیشه سریع و مرتب تو گوگل دیده میشه و ترافیک واقعی افزایش پیدا می‌کنه.