اولین گام برای بررسی سئو: مشکل ایندکس صفحات

حتی یک عصای جادویی SEO هم یک صفحه وب را رتبه بندی نمی کند اگر آن صفحه ایندکس نشده باشد. مهم است که در هنگام بررسی سئو مشکل ایندکس صفحه را رفع کنید.

چرا ایندکس اولین گام در بررسی SEO است؟

اگر سایت تان ایندکس نشده باشد، توسط Google و Bing قابل خواندن نیست و اگر موتور های جستجو نتوانند صفحه شما را پیدا و “بخوانند”، مهم نیست چقدر جادو یا بهینه سازی برای موتور جستجو انجام دهید، تاثیری در رتبه بندی صفحه ندارد.

برای رتبه بندی شدن، اول از همه سایت باید ایندکس شود.

آیا سایت شما ایندکس شده است؟

ابزارهای متعددی وجود دارند که به شما نشان می دهند که آیا سایت ایندکس شده است یا خیر.

ایندکس شدن، فرآیندی در سطح صفحه است. به عبارت دیگر، موتورهای جستجو صفحات را می خوانند و با آن ها به صورت جداگانه برخورد می کنند.

یک روش سریع برای بررسی اینکه آیا صفحه ای توسط گوگل ایندکس شده است استفاده از سایت است: اپراتوری با جستجوی گوگل. تنها دامنه را وارد کنید، مانند مثال زیر، به شما تمام صفحاتی را که توسط گوگل برای این دامنه ایندکس شده اند را نشان می دهد.

همچنین می توانید URL صفحه ای را به طور اختصاصی وارد کنید تا ببینید که آیا آن صفحه ایندکس شده است یا خیر.

چه زمانی یک صفحه ایندکس نشده است؟

اگر سایت یا صفحه شما ایندکس نشده باشد، دلیل اصلی این مشکل استفاده از تگ ربات های متا در یک صفحه است یا استفاده نادرست از disallow در فایل robots.txt.

هم متا تگی که در سطح صفحه است و هم فایل robots.txt دستورالعمل هایی را برای ربات های ایندکس موتور جستجو ایجاد می کنند تا نشان دهند که چگونه با یک محتوا در صفحه یا سایت برخورد می شود.

تفاوت این است که تگ متا ربات ها بر روی تک صفحه ظاهر می شود، در حالی که فایل robots.txt دستورالعملی برای کل سایت ایجاد می کند.

در فایل robots.txt، می توانید صفحات یا دایرکتوری ها را جدا کنید و ببینید چگونه ربات ها در هنگام ایندکس کردن با این صفحات برخورد می کنند. بیایید نحوه استفاده از هر کدام را بررسی کنیم.

Robots.txt

اگر مطمئن نیستید که سایت تان از فایل robots.txt استفاده می کند، یک راه آسان برای بررسی وجود دارد. به آسانی دامنه خود را در مرورگری که با robots.tx/ دنبال می شود وارد کنید.

برای مثال: https://www.amazon.com/robots.txt

لیست “disallows” برای Amazon بسیار طولانی است.

Google Search Console هم یک ابزار تست robots.txt دارد، به شما کمک می کند تا خطا ها را در فایل ربات ها پیدا کنید. همچنین می توانید با استفاده از نوار پایین صفحه، صفحه را در سایت آزمایش کنید تا ببینید آیا فایل ربات ها در حالت فعلی خود ربات های گوگل را بلاک کرده اند.

اگر یک صفحه یا دایرکتوری در سایت disallowed شده باشد، در فایل ربات ها بعد از Disallow ظاهر می شود. همانطور که در مثال بالا نشان داده شده، فایل (/lp/) صفحه فرود یا لندیگ disallowed شده است از طریق ایندکس شدن با استفاده از فایل ربات ها.

این کار مانع از ایندکس شدن دایرکتوری های موجود توسط موتورهای جستجو می شود.

گزینه های جالب و پیچیده تری وجود دارند که می توانید برای آن ها فایل ربات ها را به کار گیرید. سایت توسعه دهندگان گوگل راهی عالی برای استفاده از فایل robots.txt است. در اینجا چند نمونه را می بینیم:

تگ متا ربات ها

تگ متا ربات ها در سر تیتر صفحه قرار دارد. معمولا، نیازی به استفاده همزمان از تگ متا ربات ها و robots.txt برای disallow کردن ایندکس یک صفحه خاص نیست.

در تصویر Search Console بالا، نیازی به اضافه کردن تگ متا ربات ها به صفحات لندینگ در فولدر لندیگ صفحه (/lp/) نیست تا مانع گوگل از ایندکس شدن آن ها شود، به دلیل اینکه فولدر با استفاده از فایل robots.txt از ایندکس disallowed شده است.

هرچند که تگ متا ربات ها عملکرد های دیگری هم دارد.

برای مثال، می توانید به موتورهای جستجو بگویید که لینک های صفحه ورودی برای اهداف بهینه سازی موتور جستجو نباید دنبال شوند. این کار می تواند برای بعضی از موقعیت های مشخص کاربردی باشد مانند صفحات خبری.

احتمالا دو راهنمایی که بیشتر برای SEO با این تگ استفاده شده اند، noindex/index و nofollow/follow هستند:

• Index follow. به صورت پیش فرض قرار دارد. رابط های ایندکس موتور های جستجو باید اطلاعات این صفحه را ایندکس کنند. ربات های ایندکس موتور جستجو باید لینک های این پیج را دنبال کنند.
• Noindex nofollow. ربات های ایندکس موتور جستجو نباید اطلاعات این صفحه را ایندکس کنند.

سایت توسعه دهندگان گوگل همچنین توضیحات کاملی برای استفاده از تگ متا ربات ها دارند.

نقشه سایت XML

وقتی که صفحه جدیدی بر روی سایت دارید، قطعا می خواهید که موتورهای جستجو سریعا آن را پیدا و ایندکس کنند. یک راه برای کمک، استفاده از یک eXtensible markup language (زبان نشانه گذاری توسعه پذیر) است. نقشه سایت XML و ثبت نام در موتور های جستجو.

نقشه سایت XML برای موتورهای جستجو لیستی از صفحات وب سایت شما را آماده می کند. این امر به ویژه زمانی مفید است که محتوای جدیدی داشته باشید که احتمالاً هنوز لینک های ورودی زیادی به آن ندارید، دنبال کردن آن لینک برای پیدا کردن آن محتوا توسط ربات های موتور جستجو سخت تر می شود.

بعضی از سیستم های مدیریت محتوا اکنون دارای نقشه سایت XML داخلی هستند یا از طریق پلاگین می توان بر روی آن ها نصب کرد مانند پلاگین Yoast SEO برای وردپرس.

مطمئن شوید که دارای نقشه سایت XML هستید و در Google Search Console و Bing Webmaster Tools ثبت شده است.

این کار به گوگل و بینگ کمک می کند تا بدانند نقشه سایت در کجا قرار گرفته است و می تواند به طور مداوم به ایندکس برگردد.

اما چقدر سریع می توانند محتواهای جدید با استفاده از این متد ایندکس شوند؟ یک راه سریع و تست شده برای اینکه محتوای جدید ایندکس شود فرمان اپراتور است.

جاوا اسکریپت

در سال 2011، گوگل اعلام کرد که قادر است JavaScript را اجرا کند و عناصر پویا خاصی را ایندکس کند. هرچند، گوگل هیچوقت قادر نیست تمام جاوا اسکریپت را اجرا و ایندکس کند.

در Google Search Console, ابزار Fetch و Render می توانند کمک کنند تا بدانید آیا ربات گوگل “Googlebot” اکنون قادر است محتوای شما را در جاوا اسکریپت ببیند.

در این مثال، سایت university از جاوا اسکریپت نامتقارن و (XML (AJAX استفاده می کند که نوعی از JavaScript است تا یک منوی موضوعی ایجاد کند که تا به نواحی خاصی از مطالعه لینک دهد.

ابزار Fetch و Render به ما نشان می دهند که Googlebot قادر نیست محتوا و لینک ها را به شیوه انسان ها ببیند. به این معنی است که Googlebot نمی تواند لینک ها را در جاوا اسکریپت دنبال کند و به صفحات عمیق تر سایت برود.

نتیجه گیری

همیشه به یاد داشته باشید سایت شما باید برای رتبه بندی شدن ایندکس شود. اگر موتورهای جستجو نتوانند محتوای شما را پیدا یا بخوانند، چگونه می توانند آن را ارزش گذاری و رتبه بندی کنند؟ پس مطمئن شوید که در هنگام بررسی SEO سایت خود از قابلیت ایندکس شدن آن مطمئن شوید و یا مشکل ایندکس را بر طرف کنید.