در آموزش مختلف مانند Robots.txt چیست و چگونه میتوان آن را ساخت به شما توضیح دادیم که کلا فایل robots.txt برای چه مواردی می تواند مورد استفاده قرار بگیرد و در کجاها مجاز هستیم تا از آن استفاده نماییم.
امروزه در مورد مشاهده فایل robots.txt قرار است صحبت کنیم و مطالبی را خدمت شما عزیزان مطرح نماییم.
به یاد داشته باشید که اطلاعات فایل robots.txt به راحتی و آسانی برای هر فردی که بتواند به سایت شما دسترسی داشته باشد قابل رویت است. تنها میتوانید آدرس خاص و با فرمتی مشخص را در مرورگر اینترنتی خود مانند Google Chrome وارد نمایید تا اطلاعات فایل robots.txt هر سایتی را مشاهده نمایید. به عنوان مثال:
https://amazon.com/robots.txt
دقیقا متوجه شدید که محل قرار دادن این فایل دقیقا در root سایت می باشد و به همین صورت هم میتوانید به اطلاعات آن فایل دسترسی داشته باشید.
شما اگر آدرس بالا را در مرورگر خود وارد نمایید متوجه می شوید که در سایت آمازون چه صفحاتی و چه فایل هایی را از دید و در دسترس بودن موتورهای جستجو مخفی نگه داشته اند و برایشان اهمیت ندارد که این صفحه در نتایج موتورهای جستجو دیده شوند. (اصطلاحات سئو را حتما ببینید).
نوع نوشتن دستورات در فایل robots.txt دارای استانداردهای خاص خودش می باشد که در 2 آموزش زیر به تفضیل در مورد این فایل و نحوه نوشتن و ایجاد نمودن آن صحبت شده است
برای معرفی این فایل به موتورهای جستجو نیازی نیست کار خاصی و یا از ابزارهای خاصی مانند گوگل سرچ کنسول استفاده نمایید. بلکه تنها با قرار دادن این فایل در root سایت میتوانید کار خود را به درستی انجام دهید.
Crawler موتورهای جستجو در ابتدا قبل از اینکه هر صفحه را در سایت شما ببینند و index نمایند, جهت گرفتن دستور محتویات این فایل را می بینند و سپس بر اساس بخشی که شما گفته اید تا index نشوند, کار خود را اغاز می نمایند.