گوگل بات (Googlebot) چیست؟

زمانی که کلمه گوگل بات را می شنویم به یاد یک ربات کوچولو شبیه به وال-ای می افتیم که در حال جستجوی تمام گوشه ها برای ایندکس کردن اطلاعات است. اگر چه کمی ناامید کننده است اگر بگوییم که Googlebot تنها یک برنامه کامپیوتری است که توسط گوگل نوشته شده که صفحات وب را کرال می کند و به ایندکس خود، صفحات جدید را اضافه می کند. در این جا قرار است شما را به ربات کرال کننده معرفی کنیم.

ربات گوگل؟ خزنده وب؟ عنکبوت؟

همه اصطلاحات بالا یک معنی دارند، رباتی که وب سایت ها را کرال (Crawl) می کند (یا اصطلاحا در صفحات می خزد). گوگل بات صفحات وب را از طریق لینک ها کرال می کند. محتوا های جدید و به روز شده را پیدا می کند و پیشنهاد می کند که چه چیزی باید ایندکس شود.

گوگل از یک تن رایانه برای ارسال کرالر های خود به گوشه گوشه وب استفاده می کند تا این صفحات را پیدا کنند و ببیند چه چیزی در آن ها وجود دارد. Googlebot، کرالر یا ربات وب گوگل است و بقیه موتور های جستجو ربات مخصوص خود را دارند.

گوگل بات چگونه کار می کند؟

Googlebot با استفاده از نقشه سایت (sitemaps) و پایگاه های داده (databases) لینک های کشف شده در کرال قبلی خود، محل بعدی جستجویش را تعیین می کند.

هر زمان که کرالر لینک های جدیدی در یک سایت پیدا کند، آن ها را به لیست صفحاتی که باید بعدا ببیند اضافه می کند. از گوگل بات تغییراتی در لینک ها یا لینک های شکسته پیدا کند، در نظر می گیرد که ایندکس باید به روز شود.

برنامه مشخص می کند که هر چند وقت ربات شروع به کرال کند. برای اینکه مطمئن شوید که Googlebot به درستی سایت شما را ایندکس می کند، باید قابلیت کرال شدن سایت تان را بررسی کنید. اگر سایت شما برای ربات ها یا کرال کننده ها در دسترس باشد، آن ها به سراغ تان می آیند.

ربات های مختلف

ربات های مختلفی وجود دارند. برای مثال، AdSense وAdsBot کیفیت تبلیغات را چک می کنند، در حالی که برنامه های موبایل اندرویدی، اپلیکیشن های اندرویدی را چک می کنند. این موارد برای ما بسیار مهم هستند.

گوگل بات چگونه سایت شما را می بیند؟

برای اینکه بدانیم اغلب Googlebot چگونه سایت شما را می بیند و آنجا چه کار می کند، می توانید به فایل های log خود یا بخش Crawl در Google Search Console بروید.

اگر می خواهید که تنظیمات پیشرفته اعمال کنید تا عملکرد کرال سایت تان بهینه شود، می توانید از ابزاری مانند Kibana  یا SEO Log File Analyser توسط Screaming Frog استفاده کنید.

گوگل لیستی از IP آدرس ها را که Googlebot های مختلف از آن ها استفاده می کنند را به اشتراک نمی گذارد، زیرا این آدرس ها اغلب تغییر می کنند.

برای اینکه بفهمید یک گوگل بات واقعی از سایت شما دیدن می کند، می توانید یک جستجوی IP معکوس انجام دهید. ربات های اسپمر یا فیک به آسانی می توانند از نام یک عامل کاربری دیگر سوء استفاده کنند اما نه از IP آدرس.

می توانید با استفاده از robots.txt مشخص کنید که گوگل بات چگونه بخش هایی از سایت شما را می بیند. مراقب باشید، اگر این کار را اشتباه انجام دهید، ممکن است مانع Googlebot برای کرال کردن سایت تان و ایندکس شدنش شوید. راه های بهتری برای جلوگیری از ایندکس شدن سایت تان وجود دارد.

Google Search Console

Search Console یکی از مهم ترین ابزارهای بررسی کردن قابل کرال بودن سایت است. در آن جا می توانید مشخص کنید که ربات گوگل چگونه سایت تان را می بیند. همچنین لیستی از خطاهای کرال را برای بر طرف کردن می بینید. در سرچ کنسول، می توانید از گوگل بات بخواهید تا دوباره سایت تان را کرال (crawl) کند.

بهینه شدن برای گوگل بات

برای اینکه گوگل بات سایت تان را سریع تر کرال کند، یک فرآیند نسبتا فنی است که موانع تکنیکی را که باعث می شوند کرالر ها به درستی به سایت شما دسترسی نداشته باشند از بین می برید. درست است که یک فرآیند فنی است اما باید خودتان را با آن آشنا کنید.

اگر گوگل نتواند سایت شما را به درستی crawl کند، هیچ وقت قادر نیست سایت تان را رتبه بندی کند. پس خطا ها را پیدا و بر طرف کنید.

در آخر

Googlebot یک ربات کوچک نیست که سایت را می بیند. اگر از نظر فنی سایت تان را بهینه کرده باشید به شما سر می زند. اگر به طور مرتب محتوای جدیدی را به سایت خود اضافه کنید، بیشتر به شما سر می زند.

بعضی مواقع، زمانی که تغییراتی با مقیاس بزرگ در سایت خود ایجاد می کنید، ممکن است نیاز باشد تا با آن کرالر های کوچک تماس بگیرید تا به یکباره به سراغ تان بیایند و این تغییرات در نتایج جستجوی گوگل نشان داده خواهد شد.