رتبه بندی شدن در موتورهای جستجو نیازمند یک SEO فنی بی عیب و نقص است. برای مثال، افزونه Yoast SEO در ووردپرس، بررسی های تکنیکی سئو را انجام می دهد. باز هم اگر واقعا می خواهید که سایت تان بهترین بازده را داشته باشد و رنکینگ عالی ای کسب کند، نیاز است تا مبانی پایه SEO تکنیکی را فرا بگیرید. در این پست قرار است درمورد یکی از مفهوم های مهم SEO صحبت کنیم: قابلیت کرال شدن.
کرالر (Crawler) چیست؟
یک موتور جستجو مانند گوگل دارای کرالر، ایندکس و الگوریتم است. کرالر لینک ها را دنبال می کند. زمانی که کرالر، وب سایت شما را پیدا کند، آن را می خواند و محتوایش را ایندکس می کند.
کرالر لینک های یک سایت را دنبال می کند. کرالر همچنین ربات یا اسپایدر نامیده می شود. در 24 ساعت 7 روز هفته تمام اینترنت را جستجو می کند. زمانی که وارد یک وب سایت می شود، نسخه HTML صفحه را در یک پایگاه داده غول آسا ذخیره می کند، که آن را ایندکس می نامند.
هر بار که کرالر ها به درون سایت شما می آیند و نسخه به روز شده آن را می بینند آپدیت می شود. بسته به این که چقدر سایت شما برای گوگل اهمیت دارد و چه تعداد تغییر در آن ایجاد می کنید، کرالرها کم یا زیاد به سراغ تان می آیند.
قابلیت Crawl شدن چیست؟
قابلیت کرال شدن مربوط به امکاناتی است که گوگل برای Crawl کردن وب سایت شما دارد. کرالر ها می توانند از طرف سایت شما بلاک شوند.
راه های کمی برای بلاک کردن ربات ها وجود دارد. اگر وب سایت یا صفحه ای از سایت شما بلاک شده باشد، به کرالر های گوگل می گویید: “اینجا نیاید”، در نتیجه سایت شما یا صفحات مربوط به سایت تان در نتایج جستجوی گوگل مشاهده نمی شود.
مواردی برای جلوگیری از گوگل برای Crawl کردن (یا ایندکس کردن) سایت تان وجود دارد:
- اگر فایل robots.txt کرالرها را بلاک کند، گوگل به درون سایت شما یا صفحه خاصی مربوط به آن نمی آید.
- قبل از Crawl کردن سایت شما، کرالر ها نگاهی به عنوان HTTP سایت می اندازند. این عنوان HTTP دارای یک کد وضعیت است. اگر این کد وضعیت بگوید که صفحه وجود ندارد، گوگل سایت را Crawl نمی کند.
- اگر ربات های تگ متا در یک صفحه خاص موتور های جستجو از ایندکس کردن آن صفحه بلاک کنند، گوگل صفحه را Crawl می کند اما آن را ایندکس نمی کند.
چارت زیر نشان دهنده فرآیند ایندکس کردن ربات ها است:
آیا می خواهید همه چیز را درمورد قابلیت کرال شدن بدانید؟
هرچند قابلیت Crawl شدن یکی از مبانی پایه سئو است ( مربوط به همه مواردی است که گوگل را قادر می سازد تا سایت شما را ایندکس کند)، اما برای بسیاری از مردم بحثی پیچیده است. اگر کرالرها را بلاک کنید – حتی ناخواسته – در گوگل هیچوقت رتبه بندی نخواهید شد. اگر درمورد SEO جدی هستید پس این مسئله باید برای تان اهمیت داشته باشد.
برای دانستن اطلاعات بیشتر درمورد سئو می توانید سری به دیگر مقالات سایت بزنید.
دیدگاهی بنویسید