فایل robots.txt چیست و چگونه می توان آن را ویرایش نمود؟‎

Robots.txt یک فایل مهم برای کمک به ربات های وب مثل گوگل، یاهو و سایر موتورهای جستجوی اصلی و سایر وب سایت ها است. ایجاد و ویرایش صحیح این فایل یکی از روش های تقویت سئو است که از شما وقت کمی خواهد گرفت و در عوض، روشی بسیار تاثیرگذار است.

با ما همراه باشید، ما در این مقاله به شما آموزش خواهیم داد که چگونه فایل robots.txt خود را تغییر دهید تا موتورهای جستجوگر آن را دوست داشته باشند.

چرا فایل robots.txt مهم است؟

در ابتدا اجازه دهید تا نگاهی بیندازیم که چرا فایل robots.txt اهمیت دارد؟

فایل robots.txt به عنوان پروتکل حذف استاندارد ربات شناخته می شود و در حقیقت یک فایل متنی است که به ربات های وب (اغلب موتورهای جستجو) می گوید که کدام صفحات در سایت شما قابل دسترسی هستند و کدام صفحات قابل دسترسی نیستند.

در نظر بگیرید که موتور جستجو قصد بازدید از یک سایت را دارد، قبل از بازدید از صفحه مورد نظر، robots.txt را بررسی می کند.

اهمیت وجود فایل robots.txt در دایرکتوری وب سایت شما، کمتر از وجود فایل سایت مپ در وب سایت شما نیست. بنابراین باید در مواجهه با سایت خود به این دو نکته توجه داشته باشید که وب سایت شما هم دارای فایل سایت مپ باشد و هم دارای فایل robots.

انواع مختلفی از فایل های robots.txt وجود دارد که به ما به چند نمونه از آن ها اشاره خواهیم کرد.

نمونه ای از فایل robots.txt که موتور های جستجو پیدا می کند:

این اسکلت اساسی یک فایل robots.txt است.

ستاره پس از ” user-agent ” به این معنی است که فایل robots.txt برای همه روبات های وب که از سایت بازدید می کنند مجاز است.

اسلش پس از “Disallow” به ربات می گوید که از چه صفحاتی در سایت نباید بازدید کند.

شاید تعجب کنید که چرا باید کسی تمایل به جلوگیری از مراجعه به سایت های خود داشته باشد!

از این گذشته یکی از مهمترین اهداف SEO این است که موتورهای جستجوگر به راحتی بتوانند به سایت شما دسترسی داشته باشند تا رتبه شما افزایش یابد.

احتمالاً صفحات زیادی در سایت خود دارید، درست است؟ حتی اگر مطمئن نیستید بروید و بررسی کنید، ممکن است تعجب کنید!

بنابراین با استفاده از این دو دستور، شما می توانید دستورالعمل هایی برای وب سایت خود تعریف کنید تا خزندگان موتور های جستجو طبق آن دستورات عمل کرده و از صفحات شما بازدید کنند.

در اصل ، بودجه خزیدن “تعداد URL هایی است که Googlebot می تواند و می خواهد در آن ها Crowl یا خزش کند.”

بنابراین تعداد URL هایی که ربات خزنده Googlebot می تواند و می خواهد از آن ها بازدید کند، مشخص خواهد شد.

با این کار شما برای بهبود سئو وب سایت خود به Googlebot کمک می کنید تا در ارزشمند ترین صفحات شما بخزد.

برخی از عوامل وجود دارد که به گفته گوگل “بر خزیدن و نمایه سازی سایت تأثیر منفی خواهد گذاشت”.

اگر صفحه robots.txt مناسب را ایجاد کنید، می توانید دستورالعمل هایی را برای جلوگیری از ورود ربات های موتور جستجو به صفحات خاص تعریف کنید.

اگر به ربات های موتور جستجو بگویید که فقط در مفید ترین محتوای شما بخزند، ربات ها می توانند سایت شما را تنها براساس آن محتوا فهرست کنند.

با استفاده از ویرایش صحیح robots.txt خود می توانید به ربات های موتور جستجو بگویید که بودجه های خزیدن خود را به طور صحیح استفاده کنند و این همان چیزی است که باعث می شود فایل robots.txt در زمینه SEO بسیار مفید باشد.

آیا برای سایت وردپرس خود به این فایل نیاز دارید؟

اگر فایل robots.txt ندارید، موتورهای جستجو همچنان وب سایت شما را خزنده و ایندکس می کنند. با این وجود، نمی توانید به موتورهای جستجو بگویید که نباید از کدام صفحات یا پوشه ها خزنده شوند. این برای اولین بار که یک وبلاگ راه اندازی می کنید و محتوای زیادی ندارید، تأثیر زیادی نخواهد داشت.

با این وجود وقتی وب سایت شما رشد می کند و محتوای زیادی دارید، پس احتمالاً می خواهید کنترل بهتری بر نحوه خزیدن و نمایه سازی وب سایت خود داشته باشید. در اینجا دلیل آن وجود دارد. ربات های جستجو برای هر وب سایت سهمیه خزیدن دارند.

این بدان معنی است که آن ها تعداد مشخصی از صفحات را در یک جلسه خزیدن خزنده می کنند. اگر آن ها خزیدن در تمام صفحات سایت شما را به پایان نرسانند، آن ها دوباره برمی گردند و در جلسه بعدی خزیدن را ادامه می دهند.

این می تواند سرعت نمایه سازی وب سایت شما را کاهش دهد. با جلوگیری از تلاش ربات های جستجو برای جستجوی صفحات غیر ضروری مانند صفحات مدیریت وردپرس، پرونده های پلاگین و پوشه تم ها، می توانید این مشکل را حل کنید.

با اجازه دادن به صفحات غیرضروری، سهمیه خزیدن خود را ذخیره می کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما جستجو کرده و در اسرع وقت آن ها را فهرست بندی کنند. دلیل خوب دیگر استفاده از فایل robots.txt زمانی است که می خواهید موتور های جستجو را از نمایه سازی یک پست یا صفحه در وب سایت خود متوقف کنید. این امن ترین راه برای مخفی کردن مطالب از بین عموم نیست، اما به شما کمک می کند تا از نمایش آن ها در نتایج جستجو جلوگیری کنید.

فایل ربات تکست خود را پیدا کنید

یک روش فوق العاده آسان برای مشاهده فایل robots.txt وجود دارد. در حقیقت این روش برای هر سایتی کار خواهد کرد، بنابراین می توانید به فایل های سایت های دیگر نگاهی بیندازید و ببینید که آن ها چه کار هایی انجام می دهند.

تمام کاری که شما باید انجام دهید این است که URL اصلی سایت را در نوار جستجوی مرورگر خود تایپ کنید (به عنوان مثال momtazseo.com)، سپس robots.txt/ را به انتهای آن اضافه کنید.

یکی از سه موقعیت زیر اتفاق می افتد:

1) فایل robots.txt را پیدا خواهید کرد.

2) فایل خالی پیدا خواهید کرد.

3) 404 دریافت خواهید کرد.

تنها چند لحظه طول خواهد کشید! آدرس مشخص شده را بزنید و پرونده robots.txt سایت خود را مشاهده کنید.

اگر یک فایل خالی یا 404 پیدا کردید، احتمالا می خواهید آن را برطرف کنید. اگر یک فایل معتبر پیدا کنید، احتمالاً تنظیمات پیش فرض را هنگام ایجاد سایت خود تنظیم کرده است.

حال بیایید تغییر فایل robots.txt را بررسی کنیم.

مراحل بعدی شما به این بستگی دارد که آیا فایل robots.txt دارید یا خیر. (با استفاده از روشی که در بالا توضیح داده شده است بررسی کنید).

اگر فایل robots.txt را ندارید، لازم است که آن را از ابتدا ایجاد کنید. ویرایشگر متن ساده مانند Notepad را باز کنید.

Editpad.org یک برنامه رایگان و عالی است که ما در این مقاله از آن استفاده خواهیم کرد.

اگر فایل robots.txt را دارید، باید آن را در فهرست اصلی دایرکتوری خود قرار دهید.

اگر به سورس کد ها دسترسی ندارید، پیدا کردن نسخه قابل ویرایش فایل robots.txt شما مشکل است.

معمولاً با مراجعه به اکانت میزبانی وب سایت، ورود به سیستم و رفتن به قسمت مدیریت فایل یا بخش FTP سایت خود می توانید فهرست اصلی را پیدا کنید.

شما باید صفحه ای مانند نمونه مشاهده کنید.

فایل robots.txt خود را پیدا کنید و آن را برای ویرایش باز کنید، تمام متن را حذف کنید اما پرونده را نگه دارید.

توجه: اگر از WordPress استفاده می کنید، ممکن است هنگام رفتن به سایتiteite.com/robots.txt فایل robots.txt را مشاهده کنید، اما شما نمی توانید آن را در فایل های خود پیدا کنید.

دلیل این امر این است که وردپرس در صورت عدم وجود فایل robots.txt در فهرست اصلی، یک فایل مجازی robots.txt ایجاد خواهد کرد.

چگونه یک فایل Robots.txt در وردپرس ایجاد کنیم؟

برای ایجاد یک فایل robots.txt در وردپرس دو روش وجود دارد. شما می توانید روشی را انتخاب کنید که برای شما مناسب باشد.

روش 1: ویرایش فایل Robots.txt با استفاده از All in One SEO.

All in One SEO همچنین به عنوان AIOSEO شناخته می شود بهترین افزونه SEO WordPress در بازار است که بیش از 2 میلیون وب سایت از آن استفاده می کنند. استفاده از آن آسان است و به همراه یک مولد فایل robots.txt ارائه می شود.

توجه: نسخه رایگان AIOSEO نیز موجود است و از این ویژگی برخوردار است.

پس از نصب و فعال سازی افزونه، می توانید از آن برای ایجاد و ویرایش فایل robots.txt خود به طور مستقیم از منطقه مدیریت وردپرس خود استفاده کنید. برای ویرایش پرونده robots.txt خود کافیست به All in One SEO »Tools بروید.

ابتدا باید با کلیک روی گزینه “Enable Custom Robots.txt” فایل مورد نظرتان را ویرایش کنید، تا گزینه آبی را روشن کنید. با روشن کردن آن، می توانید یک فایل سفارشی robots.txt در وردپرس ایجاد کنید.

All in One SEO فایل موجود robots.txt شما را در بخش “Robots.txt Preview” در پایین صفحه نمایش نشان می دهد. این نسخه قوانین پیش فرض را که توسط وردپرس اضافه شده است نشان می دهد.

این قوانین پیش فرض به موتورهای جستجو می گوید که از پرونده های اصلی وردپرس شما استفاده نکنند، به ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و به آن ها لینکی به نقشه های سایت XML سایت شما می دهد. اکنون، می توانید قوانین سفارشی خود را برای بهبود robots.txt خود برای جستجوگر ها اضافه کنید.

برای افزودن قانون، یک عامل کاربری در قسمت “User Agent” وارد کنید. استفاده از این قانون را برای همه نمایندگان کاربر اعمال می کند. سپس، آیا می خواهید موتور های جستجو برای خزیدن “اجازه” یا “منع شوند” را انتخاب کنید. سپس، نام پرونده یا مسیر دایرکتوری را در قسمت “Directory path” وارد کنید.

این قانون به طور خودکار در مورد robots.txt شما اعمال می شود. برای افزودن قانون دیگر، دکمه “افزودن قانون” را کلیک کنید. توصیه می کنیم قوانینی را اضافه کنید تا زمانی که قالب ایده آل robots.txt را که در بالا به اشتراک گذاشتیم ایجاد کنید.

قوانین سفارشی شما به این شکل خواهد بود.

پس از اتمام کار، فراموش نکنید که برای ذخیره تغییرات خود بر روی دکمه “ذخیره تغییرات” کلیک کنید.

روش 2. با استفاده از FTP به صورت دستی پرونده Robots.txt را ویرایش کنید. برای این روش، شما باید از یک سرویس گیرنده FTP برای ویرایش پرونده robots.txt استفاده کنید.

به سادگی با استفاده از سرویس گیرنده FTP به حساب میزبانی وردپرس خود متصل شوید. پس از ورود، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود مشاهده کنید.

اگر آن را نمی بینید، احتمالاً پرونده robots.txt ندارید. در این صورت، می توانید یکی ایجاد کنید.

Robots.txt یک فایل متنی ساده است، به این معنی که می توانید آن را در رایانه خود بارگیری کرده و با استفاده از ویرایشگر متن ساده مانند Notepad یا TextEdit ویرایش کنید. پس از ذخیره تغییرات، می توانید دوباره آن را در پوشه اصلی وب سایت خود بارگذاری کنید.

نتیجه گیری

هدف از بهینه سازی فایل robots.txt شما، جلوگیری از خزیدن موتور های جستجو در صفحاتی است که در دسترس عموم نیست. به عنوان مثال، صفحات موجود در پوشه wp-plugins یا صفحات موجود در پوشه مدیر وردپرس.

یک افسانه رایج در بین متخصصان سئو این است که مسدود کردن دسته بندی وردپرس، برچسب ها و صفحات بایگانی سرعت خزیدن را بهبود می بخشد و منجر به فهرست بندی سریع تر و رتبه بندی بالاتر می شود. این درست نیست. این نیز برخلاف دستورالعمل های مدیر وب سایت Google است. توصیه می کنیم برای ایجاد یک پرونده robots.txt برای وب سایت خود از قالب فوق robots.txt پیروی کنید.