Robots.txt یک فایل مهم برای کمک به ربات های وب مثل گوگل، یاهو و سایر موتورهای جستجوی اصلی و سایر وب سایت ها است. ایجاد و ویرایش صحیح این فایل یکی از روش های تقویت سئو است که از شما وقت کمی خواهد گرفت و در عوض، روشی بسیار تاثیرگذار است.

با ما همراه باشید، ما در این مقاله به شما آموزش خواهیم داد که چگونه فایل robots.txt خود را تغییر دهید تا موتورهای جستجوگر آن را دوست داشته باشند.

چرا فایل robots.txt مهم است؟

در ابتدا اجازه دهید تا نگاهی بیندازیم که چرا فایل robots.txt اهمیت دارد؟

فایل robots.txt به عنوان پروتکل حذف استاندارد ربات شناخته می شود و در حقیقت یک فایل متنی است که به ربات های وب (اغلب موتورهای جستجو) می گوید که کدام صفحات در سایت شما قابل دسترسی هستند و کدام صفحات قابل دسترسی نیستند.

در نظر بگیرید که موتور جستجو قصد بازدید از یک سایت را دارد، قبل از بازدید از صفحه مورد نظر، robots.txt را بررسی می کند.

اهمیت وجود فایل robots.txt در دایرکتوری وب سایت شما، کمتر از وجود فایل سایت مپ در وب سایت شما نیست. بنابراین باید در مواجهه با سایت خود به این دو نکته توجه داشته باشید که وب سایت شما هم دارای فایل سایت مپ باشد و هم دارای فایل robots.

انواع مختلفی از فایل های robots.txt وجود دارد که به ما به چند نمونه از آن ها اشاره خواهیم کرد.

نمونه ای از فایل robots.txt که موتور های جستجو پیدا می کند:

* :user-agent

/ :Disallow

این اسکلت اساسی یک فایل robots.txt است.

ستاره پس از ” user-agent ” به این معنی است که فایل robots.txt برای همه روبات های وب که از سایت بازدید می کنند مجاز است.

اسلش پس از “Disallow” به ربات می گوید که از چه صفحاتی در سایت نباید بازدید کند.

شاید تعجب کنید که چرا باید کسی تمایل به جلوگیری از مراجعه به سایت های خود داشته باشد!

از این گذشته یکی از مهمترین اهداف SEO این است که موتورهای جستجوگر به راحتی بتوانند به سایت شما دسترسی داشته باشند تا رتبه شما افزایش یابد.

احتمالاً صفحات زیادی در سایت خود دارید، درست است؟ حتی اگر مطمئن نیستید بروید و بررسی کنید، ممکن است تعجب کنید!

بنابراین با استفاده از این دو دستور، شما می توانید دستورالعمل هایی برای وب سایت خود تعریف کنید تا خزندگان موتور های جستجو طبق آن دستورات عمل کرده و از صفحات شما بازدید کنند.

در اصل ، بودجه خزیدن “تعداد URL هایی است که Googlebot می تواند و می خواهد در آن ها Crowl یا خزش کند.”

بنابراین تعداد URL هایی که ربات خزنده Googlebot می تواند و می خواهد از آن ها بازدید کند، مشخص خواهد شد.

با این کار شما برای بهبود سئو وب سایت خود به Googlebot کمک می کنید تا در ارزشمند ترین صفحات شما بخزد.

برخی از عوامل وجود دارد که به گفته گوگل “بر خزیدن و نمایه سازی سایت تأثیر منفی خواهد گذاشت”.

اگر صفحه robots.txt مناسب را ایجاد کنید، می توانید دستورالعمل هایی را برای جلوگیری از ورود ربات های موتور جستجو به صفحات خاص تعریف کنید.

اگر به ربات های موتور جستجو بگویید که فقط در مفید ترین محتوای شما بخزند، ربات ها می توانند سایت شما را تنها براساس آن محتوا فهرست کنند.

همانطور که گوگل می گوید:

“شما نمی خواهید که سرور شما از خزندگان گوگل غافل شود و یا بودجه خزیدن را در صفحه های بی اهمیت یا مشابه در سایت شما هدر دهد.”

با استفاده از ویرایش صحیح robots.txt خود می توانید به ربات های موتور جستجو بگویید که بودجه های خزیدن خود را به طور صحیح استفاده کنند و این همان چیزی است که باعث می شود فایل robots.txt در زمینه SEO بسیار مفید باشد.

فایل ربات تکست خود را پیدا کنید.

یک روش فوق العاده آسان برای مشاهده فایل robots.txt وجود دارد. در حقیقت این روش برای هر سایتی کار خواهد کرد، بنابراین می توانید به فایل های سایت های دیگر نگاهی بیندازید و ببینید که آن ها چه کار هایی انجام می دهند.

تمام کاری که شما باید انجام دهید این است که URL اصلی سایت را در نوار جستجوی مرورگر خود تایپ کنید (به عنوان مثال momtazseo.com)، سپس robots.txt/ را به انتهای آن اضافه کنید.

یکی از سه موقعیت زیر اتفاق می افتد:

1) فایل robots.txt را پیدا خواهید کرد.

 robots.txt

2) فایل خالی پیدا خواهید کرد.

 robots.txt

3) 404 دریافت خواهید کرد.

 robots.txt

تنها چند لحظه طول خواهد کشید! آدرس مشخص شده را بزنید و پرونده robots.txt سایت خود را مشاهده کنید.

اگر یک فایل خالی یا 404 پیدا کردید، احتمالا می خواهید آن را برطرف کنید. اگر یک فایل معتبر پیدا کنید، احتمالاً تنظیمات پیش فرض را هنگام ایجاد سایت خود تنظیم کرده است.

حال بیایید تغییر فایل robots.txt را بررسی کنیم.

مراحل بعدی شما به این بستگی دارد که آیا فایل robots.txt دارید یا خیر. (با استفاده از روشی که در بالا توضیح داده شده است بررسی کنید).

اگر فایل robots.txt را ندارید، لازم است که آن را از ابتدا ایجاد کنید. ویرایشگر متن ساده مانند Notepad را باز کنید.

Editpad.org یک برنامه رایگان و عالی است که ما در این مقاله از آن استفاده خواهیم کرد.

 robots.txt

اگر فایل robots.txt را دارید، باید آن را در فهرست اصلی دایرکتوری خود قرار دهید.

اگر به سورس کد ها دسترسی ندارید، پیدا کردن نسخه قابل ویرایش فایل robots.txt شما مشکل است.

معمولاً با مراجعه به اکانت میزبانی وب سایت، ورود به سیستم و رفتن به قسمت مدیریت فایل یا بخش FTP سایت خود می توانید فهرست اصلی را پیدا کنید.

شما باید صفحه ای مانند نمونه مشاهده کنید.

 robots.txt

فایل robots.txt خود را پیدا کنید و آن را برای ویرایش باز کنید، تمام متن را حذف کنید اما پرونده را نگه دارید.

توجه: اگر از WordPress استفاده می کنید، ممکن است هنگام رفتن به سایتiteite.com/robots.txt فایل robots.txt را مشاهده کنید، اما شما نمی توانید آن را در فایل های خود پیدا کنید.

دلیل این امر این است که وردپرس در صورت عدم وجود فایل robots.txt در فهرست اصلی، یک فایل مجازی robots.txt ایجاد خواهد کرد.

اگر این اتفاق برای شما بیفتد، باید یک فایل robots.txt جدید بسازید.