چندی پیش، مدیران وب سایت در سرتاسر اینترنت شروع به دریافت هشدار ترسناکی از کنسول جستجوی گوگل کردند که به آنها اطلاع می داد که Google bot قادر به دسترسی به فایلهای css خاص و عناصر جاوا اسکریپت به واسطه ی قوانین robots.txt نمی باشد.
چگونه به سرعت می توان این هشدار را در کنسول جستجو برطرف کرد؟
Google’s own Gary Ilyles پست گذاشته است که متد حل این مشکل روی stack overflow ، به طرز باورنکردنی ای ساده است و سریع برای پیاده سازی می باشد.
با توجه به پست Gary ساده ترین شکل برای اجازه به منابع css و جاوااسکریپت این است که خطوط زیر را به فایل robots.txt اضافه کنید.
این چند خط به رباتهای crawler گوگل اجازه ی دسترسی سریع و روشن به تمام عناصر css و جاوااسکریپت را خواهد داد تا تضمین کنند که این دارایی سایت به طور کامل قابل مشاهده است و قابل index کردن.
نکته: پیاده سازی این قوانین “allow”، با قوانین “Not allow”، جایگزین شده است.
معنای خطوط بالا این نیست که تمام مشکلات عناصر مسدود حل خواهد شد و هر قانون دایرکتوری یا ساختاری مورد تایید است.
نگاه گوگل به CSS و JS برای Home page وب سایت و Mobile View
جان مولر در Google+ عنوان کرده “وقتی گوگل برای CSS مسدود و Assest های جاوااسکریپت چک می کند، خیلی وارد عمق سایت نخواهند رفت. آنها یک دید اولیه در Home page و سپس یک دید موبایل/گوشی هوشمند روی سایت شما خواهند داشت.
گوگل از عناصر CSS/JS جاسازی شده ی نسل سوم مراقبت نمی کند.
جان مولر در همان پست Google+ اظهار کرده”ما به دنبال JS&CSS مسدود شده و تعبیه شده و محلی هستیم. این برای URL هایی خواهد بود که شما می توانید در robots.txt ، “allow” کنید، نه چیزی که در راستای محتوای بلاک شده روی سایتهای دیگران می تواند باعث مشکلات بیش از حد شود. (به عنوان مثال، زمانی که شما از یک فریم ورک JS استفاده می کنید که روی یک URL بلاک شده میزبانی می شود.)
چه تعداد وب سایت هشدار عناصر مسدود شده را دریافت می کنند؟
جان مولر، روی توییتر اظهار داشت که گوگل تنها به بیرون فرستاده حدود 18.7% ، تقریبا 1.5 ، از تعداد alert هایی که آنها ارسال می کنند به خارج وقتی شروع به چک کردن “قابلیت استفاده همراه” می کنند. بنابراین، اگر شما از میان تغییرات “قابلیت استفاده همراه” جان سالم به در ببرید و از طرف دیگر زنده بمانید، شانس این را دارید که وب سایتتان از شر این مسائل خلاص شود.
