چگونه و چرایی رندرینگ صفحات وب توسط موتورهای جستجو؟

پیچیدگی جالبی در نحوه تفکر ما درباره ایندکس کردن وجود دارد: رندرینگ صفحات وب.

زمانی که درمورد رتبه بندی صفحات حرف می زنیم، به طور کلی ایندکس شدن به ذهن ما می آید.

باید گفت، ما به طور کلی به زمانی فکر می کنیم که موتور جستجو:

• صفحه ای را از طریق نقشه سایت (sitemaps) یا کرالینگ پیدا کرده است و پس از رفتن به داخل آن سایت اقدام به ایندکس کردن کرده است.
• همه مطالب را از طریق منبع صفحه جمع آوری کرده است.
• شروع به رتبه بندی صفحه برای کوئری ها کرده است.

از نظر تاریخی، این ها مهمترین مراحل در فرایند جستجو بوده اند زیرا سبب رتبه بندی صفحه می شدند.

هرچند، ایندکس کردن مرحله آخر فرآیند پیدایش نیست.

در مرحه نهایی به مرور زمان از سنگینی آن کاسته می شود و رندر کردن افزایش می یابد اما به طور کلی مطمئن نیستیم که این مراحل نسخه ایندکس شده را عوض می کنند.

ایندکس در مقابل رندرینگ صفحات وب : تفاوت چیست؟

تفاوت میان ایندکس و رندرینگ را می توان در دو تصویر زیر دید:

این تصویر ایندکس شدن است:

این رندر شدن است:

هر دوی آن ها محتوای یکسانی هستند، فقط در دو دید مختلف ایندکس شدند (HTML) و رندرینگ (Chrome).

چرا این مهم است؟

رندرینگ صفحات وب مهم تر از آن چیزی است که فکر می کنید.

حقیقت این است که موتورهای جستجو قبل از فشار آوردن به سایت ها برای استفاده از JavaScript، صفحات را رندر می کنند که این اتفاق خوبی است.

دلیل اهمیت رندر کردن این است که باعث ایجاد حقایقی بر پایه کد می شود، یک موتور جستجو می تواند بفهمد این صفحه درباره چیست و چه چیزی در حال رخ دادن است.

با رندرینگ، می توان تجربه کاربری UX و اینکه چه مطالبی اولویت دارند را فهمید.

با رندر کردن می توان به چنین سوالاتی پاسخ داد:

• آیا محتوا پشت یک کلیلک پنهان است؟
• آیا یک تبلیغ صفحه را پر می کند؟
• آیا محتوایی که در پایین کد نشان داده می شود، در صفحه در بالا یا در قسمت راهنما نشان داده می شود؟
• آیا سرعت لود شدن صفحه پایین است؟

تمام این سوالات و حتی بیشتر، در زمان رندرینگ پاسخ داده می شوند.

این پاسخ ها برای درک صحیح یک صفحه و چگونگی رتبه بندی آن مهم هستند.

چه زمانی رندرینگ صفحات وب اتفاق می افتد؟

در سال 2018، رندرینگ هفته ها طول می کشید.

اما خوشبختانه امروزه کمتر زمان می برد فقط چند ثانیه .

چقدر زمان می برد تا گوگل یک صفحه را رندر کند؟

زمان متوسط 5 ثانیه است و در عرض چند دقیقه تمام صفحات ایندکس شده در صف رندر شدن قرار می گیرند.

لازم است که بگوییم این صف بندی صفحات است نه الزاما رندر کردن آن ها.

باید گفت، اگر در قسمت مثبت یک مجموعه متوسط هستید که در5 ثانیه شروع می شود، رندر شدن صفحه شما هم در 5 ثانیه شروع می شود اما زمان کامل شدن فرآیند انقدر نیست.

اگر رندرینگ در 4 ثانیه شروع شود اما در 30 ثانیه تکمیل شود، آن را در قسمت مثبت مجموعه متوسط به حساب می آورد.

از 2 سال پیش تا کنون راه بسیار طولانی را طی کرده ایم، از هفته ها به ثانیه ها.

موتور جستجوی BING متفاوت عمل می کند.

وقتی که از مدیر پروژه رتبه بندی وب و کیفیت بینگ سوال شد، فردریک دوبوت پاسخ داد:

Dave Davies @oohloo : این روزها تفاوت رندرینگ و ایندکس کردن در Bing چیه ؟

3 آگوست 2020

Frédéric Dubut@CoperniX: همان جواب قبلی بین دقیقه ها و همیشه. اما ما در حال اولویت بندی رندر کردن برای URL های تایید شده در API هستیم.

4 آگوست 2020

منظور از “قبلی” توئیتی بود که در سپتامبر گذشته دیو دیویدز به او داده بود:

Dave Davies @oohloo: آخرین چیزی که از G می دانم “می تواند هفته ها باشد”. آیا زمان بندی تقریبی بین ایندکس شدن و رندرینگ در بینگ وجود دارد؟ (به خوبی می دانیم که قطعاً “بستگی دارد” هم در آنجا نیز وجود دارد.)

2 سپتامبر 2019

Frédéric Dubut@CoperniX: من هم همین را می گویم – گاهی اوقات روزها طول می کشد، می تواند هفته ها باشد و در موارد شدید ممکن است هرگز نباشد. در نهایت این یک معامله بین هزینه رندرینگ صفحه و ارزشی است که از رندر کردن به دست می آوریم.

3 سپتامبر 2019

احتمالا سرعت این کار را بالاتر برده اند اما تایید جدیدی به دست نیامده است.

جواب کوتاه برای زمان رندر شدن این است: “بعد از ایندکس شدن” و جدول زمانی متغیر اما کوتاه است، در اصل به این معنی است که موتور های جستجو قبل از فهم کامل چگونگی اولویت بندی یک صفحه، محتوا و متن آن را درک می کنند، اما در بیشتر موارد تاخیر نیز وجود دارد.

گوگل بات Evergreen

جهشی بزرگ در ماه می 2019 اتفاق افتاد زمانی که سرویس رندرینگ وب (WRS) به روز رسانی شد.

تا آن موقع، سرویس رندرینگ وب از ورژن 41 کروم استفاده می کرد.

اگرچه برای سازگاری عالی بود، اما کابوسی برای سایت هایی بود که به ویژگی های مدرن جاوا اسکریپت اعتماد داشتند.

در می 2019، سرویس رندرینگ وب به evergreen ارتقا یافت، به این معنی است که برای رندر کردن از آخرین ورژن کروم بهره می برد (در عرض دو هفته با هر میزانی).

اکنون زمانی که صفحه شما توسط گوگل رندر می شود، چگونگی این رندر شدن به صورت کم یا زیاد را می توانید در مرورگر خود ببینید.

سرویس رندرینگ وب چه کاری انجام می دهد؟

اول از همه بیایید نگاهی به این بیاندازیم که سرویس رندرینگ وب دستور های خود را از کجا می گیرد و چگونه؟

در اینجا چرخه زندگی رندرینگ ارائه شده است:

• صفحه ای که توسط نقشه سایت، کرال کردن یا … پیدا شده است.
• صفحه در لیست صفحاتی که در یک سایت باید کرال شوند اضافه می شود زمانی که بودجه کرال کردن موجود است.
• محتوای صفحه کرال و ایندکس می شود.
• صفحه به صف رندر شدن اضافه می شود.
• صفحه رندر می شود.

بنابراین تنها عنصر مهم و ناگفته از این فرآیند صف رندر شدن است.

زمانی که یک صفحه به بالای صف برای رندر شدن می رسد، موتور آنچه را که به عنوان یک مرورگر بی سر از آن یاد می شود را ارسال می کند.

مرورگر بدون سر، مرورگری است بدون رابط کاربری گرافیکی. پس گوگل چگونه می داند در آن جا چه چیزی وجود دارد اگر نمایش گرافیکی ای وجود ندارد.

جواب واضح این است: “ربات ها چشم ندارند”

اصطلاحی که می توان به کار برد “چراغ مرورگر” است که پیج را برای موتور جستجو رندر می کند تا بداند آنچه در صفحه ظاهر می شود در کجا و چگونه است – بنابراین نیازی به چشم برای دیدن نیست.

زمانی که همه چیز خوب پیش رفت، نسخه ارائه شده همانند مرورگر های گرافیکی مشابه Googlebot ظاهر می شود و اما اگر این اتفاق نیافتاد ممکن است، به دلیل این باشد که صفحه وابسته به ویژگی های پشتیبانی نشده ای مانند درخوست اجازه کاربر یا یکی از اسکریپت ها یا منابع دیگر خطا باشد.

منظور از پیش رندرینگ چیست؟

پیش رندرینگ استفاده از کتابخانه ای مانند Puppeteer است برای ایجاد نسخه های ذخیره شده HTML از صفحات JavaScript و ارائه آن به حافظه گوگل.

اساسا، این یک فرم اخلاقی از پنهان کردن است، جایی که یک نسخه از صفحه را آنطور که در DOM ظاهر می شود کپی می کنید و به موتور های جستجو ارائه می دهید، برای اطمینان از دیدن همان محتویاتی که کاربر هنگام توقف کار برای ایندکس کردن مطالب، انجام می دهد.

با کاهش چشمگیر زمان بین ایندکس شدن و رندرینگ، یک سوال اساسی پیش می آید- آیا هنوز نیاز است تا برای جاوا اسکریپت سایت پیش رندر را انجام دهیم؟

جواب این است:

Dave Davies @oohloo: احتمالا روزی سایت های جاوا اسکریپت نیازی به پیش رندرنخواهند داشت، آیا در این زمینه اطلاعیه وجود خواهد داشت؟

من با سایت مشابهی کار می کنم و بازرسی SC محتوا را درست نشان می دهد، اما برای فهمیدن این موضوع دوست ندارم ریسک کنم و پیش رندرینگ را خاموش کنم.

2 آگوست 2020

John @JohnMu: به طور کلی الان نیازی به پیش رندرینگ نداری.

2 آگوست 2020

این برای کسانی که از Puppeteer یا دیگر کتابخانه های پیش رندرینگ استفده می کنند خبر خوبی است.

برای مثال مواردی از خراب شدن سیستم پیش رندرینگ بدون هیچ اعلان خطایی مشاهده است اما اگر دیگر نیازی به پیش رندر نیست، نیازی نیست دیگر نگران این موارد باشیم.

البته کلمه عملی در اینجا “بطور کلی” بود.

پس اگر به فکر این هستید که سیستم پیش رندرینگ خود را خاموش کنید، باید توصیه کنیم که سیستم پیش رندرینگ را در تعداد انگشت شماری از صفحات متوقف کنید و منتظر بمانید تا ببینید چه اتفاقی برای آن ها می افتد.

آیا گوگل محتوا را در زمانی که رندر شده است می بیند؟

اگر این چنین است پس می توانید برای همه صفحات پیش رندرینگ را متوقف کنید.

چرا رندر کردن؟

ممکن است از خودتان بپرسید، چرا اصلا باید رندرینگ را انجام دهیم؟ اگر سایتی جاوا اسکریپ ندارد یا برای دیده شدن محتوا نیاز به رندرینگ دارد، چرا گوگل نیاز به رندر کردن صفحات دارد؟

رندرینگ به موتور های جستجو این توانایی را می دهد تا محتوا را براساس چگونگی ارتباط برقرار کردن انسان با یک صفحه اولویت بندی کنند.

به موتورهای جستجو این اجازه را می دهد تا بدانند که موقیت یک محتوا در یک مرورگر چگونه است و چه عناصر مختلفی قابل مشاهده هستند، بنابراین وقتی آن ها سعی می کنند محتوا را قضاوت یا اولویت بندی کنند یا وزن قابل استفاده ای را ارزیابی کنند، با همان محصولی کار می کنند که بازدید کننده در حال استفاده از آن است.

آینده رندر شده است!

زمان تاخیری تغییر کرده است و پیش رندرینگ توسط جان مولر اعلام شده است.

همانطور که فکر می کنیم ایندکس کردن به احتمال زیاد تبدیل به یک مرحله عملکردی بی ربط از دیدگاه SEO خواهد شد، با رندر کردن صحنه جلویی وب تا آنجا که به کشف محتوای وب مربوط می شود اهمیت می یابد.

آنچه در این مقاله برای شما به اشتراک گذاشته شد، مطالبی در رابطه به رندرینگ صفحات وب توسط موتر جستجو بود که امیدواریم برای شما مفید واقع شود.