اخیراً یکی از خوانندگان ما از ما راهنمایی در مورد چگونگی بهینه سازی فایل robots.txt برای بهبود سئو خواسته است. فایل Robots.txt به موتور های جستجو می گوید که چگونه می توانند وب سایت شما را جستجو کنند که آن را به یک ابزار فوق العاده قدرتمند SEO تبدیل می کند. در این مقاله، ما به شما نشان خواهیم داد که چگونه یک فایل بی نظیر robots.txt برای سئو ایجاد کنید.

فایل robots.txt چیست؟

Robots.txt یک فایل متنی است که دارندگان وب سایت می توانند با ایجاد آن برای رباته های موتور جستجو چگونه صفحات را در سایت خود بخزند و فهرست کنند. این به طور معمول در پوشه اصلی وب سایت شما ذخیره می شود. قالب اصلی فایل robots.txt به این شکل است:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

شما می توانید چندین دستورالعمل داشته باشید تا URL های خاص را مجاز یا ممنوع کرده و چند نقشه سایت اضافه کنید. اگر یک URL را مجاز نمی دانید، ربات های موتور جستجو تصور می کنند که اجازه دارند آن را بخزند.

در اینجا یک فایل نمونه robots.txt به نظر می رسد:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

در مثال فوق robots.txt، ما به موتور های جستجو اجازه داده ایم که پرونده ها را در پوشه آپلودهای وردپرس جستجو و فهرست کنند. پس از آن، ما ربات های جستجو را از پلاگین های خزنده و نمایه سازی و پوشه های مدیریت وردپرس مجاز نمی دانیم.

سرانجام، ما URL نقشه سایت XML خود را ارائه داده ایم.

آیا برای سایت وردپرس خود به این فایل نیاز دارید؟

اگر فایل robots.txt ندارید، موتورهای جستجو همچنان وب سایت شما را خزنده و ایندکس می کنند. با این وجود، نمی توانید به موتورهای جستجو بگویید که نباید از کدام صفحات یا پوشه ها خزنده شوند. این برای اولین بار که یک وبلاگ راه اندازی می کنید و محتوای زیادی ندارید، تأثیر زیادی نخواهد داشت.

با این وجود وقتی وب سایت شما رشد می کند و محتوای زیادی دارید، پس احتمالاً می خواهید کنترل بهتری بر نحوه خزیدن و نمایه سازی وب سایت خود داشته باشید. در اینجا دلیل آن وجود دارد. ربات های جستجو برای هر وب سایت سهمیه خزیدن دارند.

این بدان معنی است که آن ها تعداد مشخصی از صفحات را در یک جلسه خزیدن خزنده می کنند. اگر آن ها خزیدن در تمام صفحات سایت شما را به پایان نرسانند، آن ها دوباره برمی گردند و در جلسه بعدی خزیدن را ادامه می دهند.

این می تواند سرعت نمایه سازی وب سایت شما را کاهش دهد. با جلوگیری از تلاش ربات های جستجو برای جستجوی صفحات غیر ضروری مانند صفحات مدیریت وردپرس، پرونده های پلاگین و پوشه تم ها، می توانید این مشکل را حل کنید.

با اجازه دادن به صفحات غیرضروری، سهمیه خزیدن خود را ذخیره می کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما جستجو کرده و در اسرع وقت آن ها را فهرست بندی کنند. دلیل خوب دیگر استفاده از فایل robots.txt زمانی است که می خواهید موتور های جستجو را از نمایه سازی یک پست یا صفحه در وب سایت خود متوقف کنید. این امن ترین راه برای مخفی کردن مطالب از بین عموم نیست، اما به شما کمک می کند تا از نمایش آن ها در نتایج جستجو جلوگیری کنید.

یک فایل نمونه Robots.txt چگونه به نظر می رسد؟

بسیاری از وبلاگ های معروف از یک فایل robots.txt بسیار ساده استفاده می کنند. محتوای آن ها بسته به نیاز سایت خاص ممکن است متفاوت باشد:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این فایل robots.txt به همه ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و لینکی برای نقشه های سایت XML وب سایت برای آن ها فراهم می کند.

برای سایت های وردپرسی، قوانین زیر را در پرونده robots.txt توصیه می کنیم:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این امر به ربات های جستجو می گوید تا تمام تصاویر و پرونده های وردپرس را فهرست بندی کنند. این ربات های جستجو را از ایندکس فایل های افزونه وردپرس، لوکیشن مدیر وردپرس، فایل readme وردپرس و لینک های وابسته مجاز نمی کند.

با افزودن نقشه سایت به پرونده robots.txt، جستجوی همه صفحات سایت خود را برای ربات های Google آسان می کنید. حال که دانستید یک فایل ایده آل robots.txt به چه شکل است، بیایید نگاهی به نحوه ایجاد یک فایل robots.txt در وردپرس بیندازیم.

چگونه یک فایل Robots.txt در وردپرس ایجاد کنیم؟

برای ایجاد یک فایل robots.txt در وردپرس دو روش وجود دارد. شما می توانید روشی را انتخاب کنید که برای شما مناسب باشد.

روش 1: ویرایش فایل Robots.txt با استفاده از All in One SEO.

All in One SEO همچنین به عنوان AIOSEO شناخته می شود بهترین افزونه SEO WordPress در بازار است که بیش از 2 میلیون وب سایت از آن استفاده می کنند. استفاده از آن آسان است و به همراه یک مولد فایل robots.txt ارائه می شود.

توجه: نسخه رایگان AIOSEO نیز موجود است و از این ویژگی برخوردار است.

پس از نصب و فعال سازی افزونه، می توانید از آن برای ایجاد و ویرایش فایل robots.txt خود به طور مستقیم از منطقه مدیریت وردپرس خود استفاده کنید. برای ویرایش پرونده robots.txt خود کافیست به All in One SEO »Tools بروید.

All in One SEO

ابتدا باید با کلیک روی گزینه “Enable Custom Robots.txt” فایل مورد نظرتان را ویرایش کنید، تا گزینه آبی را روشن کنید. با روشن کردن آن، می توانید یک فایل سفارشی robots.txt در وردپرس ایجاد کنید.

فعالسازی Enable Custom Robots.txt

All in One SEO فایل موجود robots.txt شما را در بخش “Robots.txt Preview” در پایین صفحه نمایش نشان می دهد. این نسخه قوانین پیش فرض را که توسط وردپرس اضافه شده است نشان می دهد.

بخش Robots.txt Preview

این قوانین پیش فرض به موتورهای جستجو می گوید که از پرونده های اصلی وردپرس شما استفاده نکنند، به ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و به آن ها لینکی به نقشه های سایت XML سایت شما می دهد. اکنون، می توانید قوانین سفارشی خود را برای بهبود robots.txt خود برای جستجوگر ها اضافه کنید.

برای افزودن قانون، یک عامل کاربری در قسمت “User Agent” وارد کنید. استفاده از این قانون را برای همه نمایندگان کاربر اعمال می کند. سپس، آیا می خواهید موتور های جستجو برای خزیدن “اجازه” یا “منع شوند” را انتخاب کنید. سپس، نام پرونده یا مسیر دایرکتوری را در قسمت “Directory path” وارد کنید.

افزودن قانون در User Agent

این قانون به طور خودکار در مورد robots.txt شما اعمال می شود. برای افزودن قانون دیگر، دکمه “افزودن قانون” را کلیک کنید. توصیه می کنیم قوانینی را اضافه کنید تا زمانی که قالب ایده آل robots.txt را که در بالا به اشتراک گذاشتیم ایجاد کنید.

قوانین سفارشی شما به این شکل خواهد بود.

قوانین سفارش در فایل robots.txt

پس از اتمام کار، فراموش نکنید که برای ذخیره تغییرات خود بر روی دکمه “ذخیره تغییرات” کلیک کنید.

روش 2. با استفاده از FTP به صورت دستی پرونده Robots.txt را ویرایش کنید. برای این روش، شما باید از یک سرویس گیرنده FTP برای ویرایش پرونده robots.txt استفاده کنید.

به سادگی با استفاده از سرویس گیرنده FTP به حساب میزبانی وردپرس خود متصل شوید. پس از ورود، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود مشاهده کنید.

سرویس گیرنده FTP

اگر آن را نمی بینید، احتمالاً پرونده robots.txt ندارید. در این صورت، می توانید یکی ایجاد کنید.

ایجاد یک فایل robots.txt

Robots.txt یک فایل متنی ساده است، به این معنی که می توانید آن را در رایانه خود بارگیری کرده و با استفاده از ویرایشگر متن ساده مانند Notepad یا TextEdit ویرایش کنید. پس از ذخیره تغییرات، می توانید دوباره آن را در پوشه اصلی وب سایت خود بارگذاری کنید.

چگونه فایل Robots.txt خود را آزمایش کنیم؟

هنگامی که فایل robots.txt خود را ایجاد کردید، همیشه بهتر است آن را با استفاده از یک ابزار تستر robots.txt تست کنید. ابزار های زیادی برای آزمایش robots.txt وجود دارد، اما توصیه می کنیم از یکی از ابزار های موجود در گوگل سرچ کنسول استفاده کنید.

ابتدا باید وب سایت خود را با Google Search Console پیوند دهید. اگر هنوز این کار را انجام نداده اید، به راهنمای ما در مورد نحوه افزودن سایت وردپرس خود به گوگل سرچ کنسول مراجعه کنید. سپس، می توانید از ابزار آزمایش Google Search Console Robots استفاده کنید.

آزمایش با Google Search Console

به سادگی گزینه مورد نظر خود را از لیست کشویی انتخاب کنید. این ابزار به طور خودکار پرونده robots.txt وب سایت شما را واکشی می کند و در صورت یافتن، خطا ها و هشدار ها را برجسته می کند.

نتیجه آزمایش با Google Search Console

نتیجه گیری

هدف از بهینه سازی فایل robots.txt شما، جلوگیری از خزیدن موتور های جستجو در صفحاتی است که در دسترس عموم نیست. به عنوان مثال، صفحات موجود در پوشه wp-plugins یا صفحات موجود در پوشه مدیر وردپرس.

یک افسانه رایج در بین متخصصان سئو این است که مسدود کردن دسته بندی وردپرس، برچسب ها و صفحات بایگانی سرعت خزیدن را بهبود می بخشد و منجر به فهرست بندی سریع تر و رتبه بندی بالاتر می شود. این درست نیست. این نیز برخلاف دستورالعمل های مدیر وب سایت Google است. توصیه می کنیم برای ایجاد یک پرونده robots.txt برای وب سایت خود از قالب فوق robots.txt پیروی کنید.

امیدواریم این مقاله به شما کمک کند تا یاد بگیرید چگونه فایل robots.txt وردپرس خود را برای سئو بهینه کنید. همچنین ممکن است بخواهید راهنمای نهایی SEO WordPress ما و بهترین ابزار های SEO WordPress را برای رشد وب سایت خود مشاهده کنید.