Robot.txt چیست؟

rtrt

همانطور که قبلا نیز توضیح دادیم یکی از دلائلی که ممکن است باعث تمام شدن پهنای باند شود میزان حجم مصرفی توسط موتورهای جستجوگر می باشد.

زمانیکه نمی خواهیم صفحاتی از سایتمان توسط موتورهای جستجو (ربات های خزنده) بررسی و ایندکس شود یکی از راه های ان طراحی فایل robots.txt می باشد. با طراحی این فایل به موتورهای جستجو اجازه نمی دهیم که برای index کردن به سایت ما مراجعه کنند و یا مراجعه آنها را کمتر می کنیم.

بدین وسیله می توان تا حدودی رفتار ربات ها را در نحوه جستجو و ایندکس صفحات مدیریت کرد.

ربات های گوگل ربات هایی هستند که به صورت خودکار سراسر وب را جستجو می کنند.

در ابتدا به این مورد دقت کنید ، تنها ربات های برخی سایت ها و شرکت های معروف و معتبر به این قوانین احترام می گذارند و برخی حتی برای نفوذ به صفحات سایت ها، از این فایل حتی سوء استفاده نیز می کنند.  این نکته دارای اهمیت زیادی است که هیچ گاه برای محافظت از دایرکتوری هایی مانند مدیریت سایت، به این فایل اکتفا نکنید و بهتر است آدرس دایرکتوری مدیریت را نیز در آن قرار ندهید.

فایل robots.txt برای نمایش به عموم آزاد می باشد. بنابراین همه می توانند تنظیمات اعمال شده توسط شما را در این فایل مشاهده نمایند. برای حفظ امنیت اطلاعات بهتر است از فایل های شخصی بر روی سرور خود محافظت کنید و پسورد های امن استفاده کنید و موارد دیگر که در در مقالات گذشته در مورد آنها صحبت شده است.

در ادامه به چگونگی انجام این کار و طراحی این فایل تا حدودی آشنا خواهیم شد.

فایل robots.txt یک فایل متنی ساده است که می توان آن را مثلا با  notepad ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار می گیرد. و قسمتهایی از سایت که شما نمی خواهید توسط موتور های جستجو دیده شود را نشان میدهد.

مزایای این فایل خروج استاندارد روبات ها می باشد . این پروتکل مجموعه ای از دستورات است که برای انواعی از خزنده های وب مورد استفاده قرار می گیرد.

یک فایل robots.txt معمولا از دو دستور ساده پیروی می کند :

User-agent (نوع خزنده یا ربات)  ، واژه ی  Disallow یا allow  که دسترسی را مجاز یا غیر مجاز می کنیم.

Disallow  :  این واژه به معنی عدم اجازه می باشد و به موتور جستجو می فهماند که اجازه دسترسی به پوشه و یا فایل مورد نظر را ندارد ،  در نتیجه موتور جستجو  فایل هایی با این شرایط را را جستجو نمی کند.

Allow   : محدوده ی آزاد برای جستجو را تعریف میکند.

User-agent  : محدوده کسانی که اجازه جستجو برایشان مسدود یا باز شده است . در واقع نوع ربات را مشخص می کنید.

به چند نکتهی زیر برای طراحی این فایل دقت کنید:

  • در ابتدای آدرس دایرکتوری ها، باید از یک اسلش (/) نیز استفاده شود ، دقت کنید که در ابتدای آدرس ،‌ حتما / را وارد کنید ، ‌در غیر اینصورت کد عمل نخواهد کرد.
  • در استفاده از حروف بزرگ یا کوچک دقت کنید.
  • دراین فایل کد وعلائم جدا کننده خاص مثل <> نیاز ندارد.
  • هر تکه از دستورات باید در یک سطر جدا باشد.

برای مشاهده ی نمونه فایل robot.txt می توانید لینک های زیر را مشاهده کنید:

https://www.pouyasazan.org/robots.txt

https://www.google.com/robots.txt

 

چند مثال از دستورات  فایل  robots.txt

 

* :User-agent

/ :Disallow

در این حالت تمام صفحات برای تمام ربات ها مسدود میشوند.

* :User-agent

/ :Allow

تمام صفحات برای تمام ربات ها مجاز هستند.

* :User-agent

Disallow: /image

 

هنگامی که از علامت * استفاده می کنیم، در واقع منظورتمام ربات ها هستند،

ربات ها با پیروی از این قانون، محتوای فولدر image را بررسی نکرده و در نتایج جستجو آن را نمایش نمی دهند.

User-agent: Googlebot-Image
/ :Disallow
تمام عکس ها و تصاویر در گوگل نمایش داده نشود.
 

User-agent: Googlebot

/Disallow: /news

 

مسدود کردن یک فولدر برای یک ربات خاص

 

* :User-agent

/Disallow: /image

Allow: /image/flower

 

این حالت به این صورت ترجمه میشود :

هر نوع جستجوگر و رباتی (تمام ربات ها)

نمی تواند  پوشه image را جستجو کند ولی می تواند زیر پوشه ی  flowerاز این پوشه را  بخواند و  جستجو کند.

 

User-agent: Googlebot

$Disallow: /*. jpg

 

در این حالت یک فرمت مشخص مانند jpg توسط موتور جستجوگر گوگل جستجو نمی شود.

” برای مشخص کردن دقیق انتهای یک الگو، از علامت $ استفاده می شود “

 

 

User-agent: Googlebot-Image

Disallow: /images/flower.jpg

 

در این حالت عکس flower.jpg توسط موتور جستجوگر گوگل جستجو نمی شود.
User-agent: Googlebot
/*Disallow: /news

برای تطبیق توالی از عبارات، از علامت * استفاده می شود، به طو مثال اگر چند دایرکتوری داشته باشید که مثلا با عبارت news  شروع شده باشد و بخواهید با یک دستور، دسترسی ربات را به تمام آنها مسدود کنید از این دستور استفاده می کنید

به این ترتیب فولدرهای مانند  newsnow , newsiran و … برای ربات مسدود خواهند شد،

“نقش علامت * این است که در واقع عبارات بعد از آن در تطبیق نادیده گرفته می شود”

* : User-agent

?*/  :Disallow

دستور زیر تمام لینک های داینامیک را برای ربات غیر قابل دسترس می کند

“برای مسدود کردن لینک های داینامیک از علامت ? و * استفاده می کنیم “

 

در حقیقت تعداد ربات هایی که می توانند سایت شما را جستجو کنند ، بسیار زیاد است و شما نمی توانید همه آنها را مجبور به مراجعه نکردن به سایت خود کنید .

معمولا ما با کل ربات ها کار داریم واستفاده از  user-agent  :* در اولین سطر کافی می باشد.

در اینجا نام برخی از موتورهای جستجوگر را می توانید مشاهده کنید:

اسک

Bingbot  : بینگ

Googlebot : گوگل

Googlebot-Image : تصاویر گوگل

Googlebot-News: اخبار گوگل

 

Robot.txt چیست؟

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *