در این مقاله قصد داریم در مورد تگ متا Robots صحبت کنیم. لطفا در ادامه با ما همراه باشید.
تگ های متا ربات چیست؟
دستورالعمل های متا ربات ها (که گاهی به آنها “برچسب متا” نیز گفته می شود) کد هایی هستند که دستورالعمل های خزنده برای نحوه خزیدن یا فهرست بندی محتوای صفحه وب را ارائه می دهند.
در حالی که بخشنامه های پرونده robots.txt برای خزیدن صفحات وب سایت، Robots متا را ارائه می دهند، دستورالعملهای متا ربات دستورالعملهای محکم تری در مورد نحوه خزیدن و نمایه سازی محتوای صفحه ارائه می دهند.
دو نوع متا Robots وجود دارد: آنهایی که بخشی از صفحه HTML هستند (مانند متا روبات تگ(meta robotstag)) و مواردی که سرور وب به عنوان هدرهای HTTP ارسال می کند (مانند برچسب x-robots).
همان پارامترها (به عنوان مثال، دستورالعمل های خزنده یا نمایه سازی برای برچسب متا، مانند “noindex” و “nofollow” در مثال بالا) با استفاده از هر دو روبات متا و برچسب x-robots قابل استفاده است. آنچه متفاوت است نحوه ارتباط این پارامترها به خزنده ها است.
متاها دستورالعمل های خزنده را در مورد چگونگی خزیدن و فهرست بندی اطلاعاتی که در یک صفحه وب خاص دارند، نشان می دهد. اگر این دستورالعمل ها توسط رباتها کشف شوند، پارامترهای آنها به عنوان پیشنهادهای قوی برای رفتار نمایه سازی خزنده ارائه می شوند.
اما مانند پرونده های robots.txt، خزندگان مجبور نیستند از دستورالعمل های متا شما پیروی کنند، بنابراین این یک شرط مطمئن است که برخی از روبات های مخرب وب، دستورالعمل های شما را نادیده بگیرند.
در زیر پارامترهایی وجود دارد که خزنده های موتور جستجو هنگام استفاده در دستورالعمل های متا رباتها را درک و از آن پیروی می کنند. این پارامترها حساس به موارد خاصی نیستند، اما توجه داشته باشید که این امکان وجود دارد که برخی موتورهای جستجو فقط زیر مجموعه ای از این پارامترها را دنبال کنند یا ممکن است برخی از دستورالعمل ها را با کمی تفاوت اجرا کنند.
پارامترهای کنترل کننده
Noindex: به موتور جستجو می گوید صفحه ای را فهرست نکند.
Index: به يك موتور جستجوگر مي گويد تا يك صفحه را فهرست بندي كند. توجه داشته باشید که نیازی به افزودن این برچسب متا ندارید. این پارامتر به صورت پیش فرض است.
Follow: حتی اگر صفحه ایندکس نشده باشد، خزنده باید تمام پیوندها را در یک صفحه دنبال کرده و عدالت را به صفحات مرتبط منتقل کند.
Nofollow: به یک خزنده می گوید که هیچ پیوندی را در صفحه دنبال نکند و یا از هر حق مالکیت پیوند عبور نکند.
Noimageindex: به یک خزنده می گوید که هیچ تصویری را در صفحه فهرست نکند.
هیچ کدام: معادل استفاده از تگ های noindex و nofollow به طور همزمان.
Noarchive: موتورهای جستجو نباید پیوند ذخیره شده این صفحه را با SERP نشان دهند.
Nocache: مشابه noarchive می باشد، اما فقط توسط Internet Explorer و Firefox استفاده می شود.
Nosnippet: به موتور جستجوگر می گوید قطعه ای از این صفحه (یعنی توضیحات متا) این صفحه را در SERP نشان ندهد.
[ Noodyp/noydir [OBSOLETE: مانع از استفاده موتورهای جستجو از توضیحات DMOZ صفحه به عنوان قطعه SERP برای این صفحه می شود. با این حال، DMOZ در اوایل سال 2017 بازنشسته شد و این برچسب را منسوخ کرد.
Unavailable_after: موتورهای جستجو دیگر نباید این صفحه را بعد از یک تاریخ خاص نمایه کنند.
انواع رهنمود های robots meta
دو متا ربات اصلی وجود دارد: تگ meta robots و x-robots-tag. هر پارامتری که در تگ ربات های متا قابل استفاده باشد نیز می تواند در یک برچسب x-robots مشخص شود.
برچسب متا ربات ها
تگ روبات های متا، معمولاً با عنوان “روبات های متا” و یا به صورت محاوره ای به عنوان “برچسب روبات” شناخته می شوند، بخشی از کد HTML یک صفحه وب است و به عنوان عناصر کد در قسمت <head> صفحه وب ظاهر می شود:
نمونه کد:
<pre><meta name=”robots” content=”[PARAMETER]”></pre>
در حالی که برچسب کلی به صورت زیر می باشد:
<meta name = “robots” content = “[PARAMETER]”>
استاندارد است، شما همچنین می توانید با جایگزین کردن “روبات ها” با نام یک کاربر خاص، دستورالعمل هایی را برای خزندگان خاص تهیه کنید.
به عنوان مثال، برای هدف قرار دادن یک بخشنامه به طور خاص به Googlebot، از کد زیر استفاده می کنید:
<meta name=”googlebot” content=”[DIRECTIVE]”>
آیا می خواهید بیش از یک بخشنامه در یک صفحه استفاده کنید؟ تا زمانی که هدف آنها به همان “روبات” (عامل کاربر) باشد، چندین دستورالعمل در یک دستورالعمل متا درج می شوند. فقط کافی است آنها را با کاما از هم جدا کنید. در اینجا مثالی برای این مورد وجود دارد:
<meta name=”robots” content=”noimageindex, nofollow, nosnippet”>
این برچسب به روبات ها می گوید که هیچ یک از تصاویر را در یک صفحه فهرست نکنند، هیچ یک از پیوندها را دنبال کنند یا وقتی در SERP ظاهر می شود یک قطعه از صفحه را نشان دهند.
اگر از دستورالعمل های مختلف برچسب روبات های متا برای عوامل مختلف جستجوی کاربر استفاده می کنید، باید برای هر ربات از برچسب های جداگانه استفاده کنید.
X-robots-tag
در حالی که برچسب روبات های متا به شما امکان می دهد رفتار ایندکس کردن را در سطح صفحه کنترل کنید، برچسب x-robots می تواند به عنوان بخشی از هدر HTTP برای کنترل نمایه سازی یک صفحه به عنوان یک کل و همچنین عناصر بسیار خاص یک صفحه درج شود.
در حالی که شما می توانید از تگ x-robots برای اجرای همه دستورالعمل های نمایه سازی مشابه به عنوان روبات های متا استفاده کنید، دستورالعمل x-robots-tag دارای انعطاف پذیری و کارایی قابل توجهی است که برچسب روبات های متا آن را ندارند.
به طور خاص، روبات های x استفاده از عبارات منظم، اجرای دستورالعمل های خزیدن روی پرونده های غیر HTML و اعمال پارامترها در سطح جهانی را مجاز می دانند.
برای استفاده از برچسب x-robots ، باید به هدر، .php ،.htaccess یا به سرور وب سایت خود دسترسی داشته باشید. علائم مشخصه پیکربندی x- تنظیمات سرور خود، از جمله هر پارامتر را اضافه کنید.
در اینجا چند دلیل مهم وجود دارد که چرا باید از برچسب x-robots استفاده کنید:
- کنترل نمایه سازی مطالبی که در HTML نوشته نشده اند (مانند فلش یا فیلم).
- مسدود کردن نمایه سازی یک عنصر خاص از یک صفحه (مانند تصویر یا ویدیو)، اما نه خود صفحه.
- در صورت دسترسی به HTML صفحه (به طور خاص به بخش <head>) اگر سایت شما از یک عنوان جهانی استفاده می کند، امکان تغییر فهرست بندی وجود ندارد.
- افزودن قوانینی برای اینکه این صفحه باید فهرست بندی شود یا خیر (به عنوان مثال اگر کاربر بیش از 20 بار نظر داده است، صفحه پروفایل او را ایندکس کنید).
امیدوارم از مطالعه این مقاله نهایت استفاده را برده باشید.
مطلب خوبی بود ، دستتون درد نکنه