اگر در حوزه توسعه وب و بازاریابی دیجیتال کارکرده باشید شکی نیست که داستان های ترسناکی درباره تگ noindex شنیده باشید. اغلب زمان ها، هنگامی که در حال طراحی یک وب سایت جدید هستید از قابلیت noindex برای صفحات سایت خود استفاده می کنید به این معنا که این صفحات در جستجوهای گوگل نمایش داده نشود.
فراموش کردن حذف تگ noindex پس از کامل شدن طراحی سایت می تواند تعداد زیادی از کاربران را از بازدید سایت شما محروم کند. تگ noindex یک خط ساده است ولی استفاده نادرست از این تگ می تواند آسیب های زیادی را به طور جدی بر روی تعداد بازدیدکنندگان سایت شما تحمیل کند.با این حال تعداد صفحات noindex موجود در فضای وب سایت بسیار در حال زیاد شدن هستند. این یک تنافض است چگونه ممکن است شما در تنظیمات خود تعریف کرده باشید که کمتر در نتایج جستجو گوگل نمایش داده شود ولی تمایل داشته باشید که سایت شما در نتایج جستجوی گوگل بیشتر نشان داده شود.
درک چگونگی خواندن سایت توسط گوگل
گوگل سایت ها را آنگونه که ما طراحی کرده ایم و می بینیم مشاهده نمی کند برای مثال ما سایت my.pouyasazan.org را به صورت زیر مشاهده می کنیم .
ولی گوگل آن را به صورت کد شده مشاهده می کند
در حال حاضر گوگل برای خواندن سایت ها از افراد واقعی استفاده نمی کند چرا که آنها کارهای مهمتری دارند و مشغول ساختن خودروهای بدون راننده هستند. درعوض آنها میلیاردها ربات استفاده می کنند. گوگل این ربات ها را با نام عنکبوت نام گذاری کرده است. زمانی که عنکبوت ها به سایت شما می آیند آنها هر خط کد سایت شما را می خوانند و اگر لینکی وجود داشته باشد آن لینک ها را دنبال می کنند. این عنکبوت ها دارای مقداری محدودی حافظه و زمان برای بررسی سایت شما هستند این به معنای این است که ممکن است این عنکبوت ها قبل از اینکه به اطلاعات خوبی از سایت شما دست یابند سایت شما را ترک کنند. خزیدن در سایت نباید زیاد طول بکشد. برای مشاهده مدت زمانی که هر عنکبوت در وب سایت شما باقی می ماند می توانید از کنسول گوگل استفاده کنید(اطلاعات بیشتر درباره کنسول گوگل را می توانید در آموزش استفاده از وب مستر مطالعه کنید)
از آنجایی که این عنکبوت ها هر لینکی را که می بینند آن را دنبال می کنند چگونگی حرکت آنها در سایت با حرکت شما بسیار متفاوت است و آنها می توانند به سرعت به مسیرهایی که قصد ندارند بروند.
برای مثال در زیر یک نمایه بصری از خزنده هایی گوگل در یک سایت آورده شده است نقاط در این تصویر صفحات هستند و خطوط نشان دهنده لینک ها هستند.
به قسمتی که با مستطیل آبی مشخص شده است نگاه کنید این قسمت نشان دهند صفحاتی است که مشتریان بالقوه را به این سایت می رساند مانند صفحه خدمات، تماس با ما یا صفحه اصلی سایت ، هر چیزی خارج از این مستطیل آبی ، نشان دهنده سایر صفحات سایت مانند صفحات وبلاگ ، اخبار و مقالات سایت است.
زمانی که تمام صفحات خود را برای نمایش به گوگل معرفی می کنید گوگل ممکن است که صفحه که مربوط به یک مقاله خبری برای سال 2012 است را نیز در نتایج جستجوی خود نمایش دهد.
و چون منابع عنکبوت ها کم هستند این مورد ممکن است باعث شود عنکبوت ها صفحات اصلی که مرتبط با کسب وکار شما است و می تواند برای شما سودآور باشند را نادیده بگیرند و یا رتبه آنها را کاهش دهد. بهترین روش برای معرفی صفحات اصلی سایت به عنکبوت ها این است که صفحاتی که مهم نیستند را noindex کنید در این صورت عنکبوت ها به صفحاتی که مهم نیستند مراجعه نمی کنند.
چگونگی تاثیر noindex برروی خزنده ها (Crawling):
مشخص است که گوگل مدت زمان زیادی را صرف خزیدن در صفحات نامرتبط و کم اهمیت در سایت ها می کند.
با قرار دادن تگ noindex در صفحات کم اهمیت و نامرتبط گوگل می تواند ارزش بیشتری را برای صفحات سطح بالا در نظر بگیرید. این باعث می شود که گوگل زمان و منابع بیشتری را صرف خواندن صفحات مهم کند و صفحات مهم را در نتایج جستجوی خود با رتبه بندی بهتری ، رتبه بندی نماید.
به خاطر داشته باشید noindex کردن صفحات هیچ تاثیری برروی کارکرد صفحات ندارد و کاربران عادی سایت شما می توانند پس از ورود به سایت این صفحات را مشاهده کنند. این صفحات فقط از دید عنکبوت های گوگل پنهان خواهند شد.
پس چه طور این کار را انجام دهیم ؟
هشدار: به یاد داشته باشید که تگ noindex همان مقدار که می تواند برای شما مفید باشد در صورتی که از ان به صورت نادرست استفاده کنید می تواند به سایت شما آسیب بزند و در صورتی که صفحات مهم سایت شما به صورت noindex تعریف شوند در نتایج جستجو های گوگل رتبه بندی نخواهد شد.
چگونگی ایجاد تگ noindex:
برای ایجاد تگ های noindex در وب سایت خود حداقل باید در یک دوره 12 ماهه وب سایت خود را مورد تجزیه و تحلیل قرار دهید، تا بتوانید به سئولات زیر پاسخ دهید.
1- کدام یک از صفحات، دیگر ترافیک های طبیعی را دریافت نمی کنند؟
2- کدام صفحات، دیگر مشتریان را به صفحه دیگر هدایت نمی کند؟
3- کدام یک از صفحات داری نرخ بیکاری غیر طبیعی است ؟
پس از اینکه شما به این سولات پاسخ دادید، می توانید یک لیستی از URL ها ایجاد کنید که به نظر نامناسب می آیند. مجددا برای هر کدام از URL های موجود در لیست خود سئولات زیر را پاسخ دهید.
1- آیا این URL برای هر یک از کلمات کلیدی سایت من می تواند رتبه بندی شود و یا رتبه بندی شده است؟
2- آیا می توان این URL را برای استفاده بهتر از آن بهینه کرد؟
3- آیا می توان یک کلمه کلیدی مناسب تر را در این صفحه به عنوان هدف درنظر گرفت ؟
4- آیا می توان محتوای این صفحه را اصلاح کرد تا کلید واژه بهتری را هدف قرار داد؟
5- آیا این صفحه در مسیر تبدیل یک کاربر به مشتری موثر است؟ (اطلاعاتی در رابطه با هدف، محصولات و غیره در این صفحه وجود دارد)
اگر URL انتخابی شما توسط هیچ یک از سئوالات بالا پاسخ مثبت دریافت نکرد. این URL می تواند یک نامزد مناسب برای دریافت تگ noindex باشد. البته باید ذکر شود که تا به حال هیچ چک لیست مناسبی برای اطمینان از noindex بودن یک URL وجود ندارد. ممکن است سوالات دیگری نیز بتوان به این چک لیست اضافه نمود.
شما می توانید خود را به جای کاربران سایت خود قرار دهید و با جستجو در گوگل مشاهده کنید که آیا کاربر شما با کلیک بر روی URL سایت شما به نتایج دلخواه خود دست پیدا می کند یا خیر ، در صورتیکه خیر آیا محتوایی این صفحه را می توان بهبود بخشید و یا با استفاده از لینکی کاربران را به نتایج دلخواه هدایت کرد یا خیر؟
در صورتی که خیر این صفحه می تواند نامزد دریافت تگ noindex باشد.
همچنین تعدادی از صفحات وجود دارند که همیشه باید به صورت noindex تعریف شوند مانند صفحات زیر:
1- صفحه ورود به CMS شما (برای مثال صفحه wp-admin در وردپرس)
2- صفحه “متشکرم ” پس از فرایند تکمیل خرید
3- صفحه ی که حاوی محتوایی چاپی یک صفحه دیگر هستند (دارای محتوای تکرای هستند)
4- صفحات نتایج مربوط به جستجوهای داخلی سایت
5- فهرست مقالات یا اخبار سایت
هنگامی که لیست نامزدهای دریافت تگ noindex کامل شد کد زیر را به آن صفحات اضافه کنید تا این صفحات توسط عنکبوت ها بازدید نشوند .
<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”>
این واقعا می تواند خیلی ترسناک باشد درصورتی که به درستی استفاده نشود زیرا گوگل در جستجوهای بعدی خود صفحاتی که داری برچسب noindex هستند را بازدید نمی کند و از نتایج جستجوی خود حذف می کند.
در ادامه کد بالا شما کلمه follow را مشاهده می کنید . کلمه follow باعث می شود که صفحات دیگری که توسط این صفحه معرفی می شوند نیز توسط عنکبوت ها بازدید نشوند.
نتیجه گیری :
با noindex کردن صفحاتی از سایت که برای ما سودآور نیستند می توانید صفحات سودآور سایت خود را با ارزش بالاتری به گوگل معرفی کنیم و از رتبه بندی بهتری در موتورهای جستجو گوگل برخوردارشویم. البته باید دقت کنیم که از noindex به درستی استفاده شود زیرا در صورت استفاده نادرست این تگ گوگل صفحات سود آور سایت را از جستجوهای خود حذف خواهد کرد و این می تواند آسیب جبران ناپذیری به کسب و کار ما وارد کند.
در صورتی که تمایل دارید کسب و کار خود را در وب گسترش دهید هاست لینوکس حرفه ای پویا سازان با قابلیت پشتیبانی از سیستم های مدیریت محتوا می تواند پیشنهاد مناسبی برای شما باشد.