به یاد داشته باشید که موتورهای جستجو روزانه بیلیون ها صفحات سایت را به دنبال اطلاعات جدید و بروز رسانی اطلاعات قدیمی می گردند و آنها را Index نموده و به دیتابیس های خود اضافه می کنند. در این میان ممکن است با شرایط مختلفی روبرو شوند.
به عنوان مثال ممکن است شما در سایت صفحه ای داشته باشید که نیاز باشد فعلا به دلایلی در موتورهای جستجو دیده نشوند و یا دیده شدن آن در موتورهای جستجو با تاخیر و محدودیت همراه باشد.
فرض کنید شما صفحه ای برای آموزش رایگان سئو در سایت ایجاد نموده اید ولی هنوز آموزش های رایگان سئو شما آماده نشده است و هنوز هم دوست ندارید کاربران از گوکل زمانی که وارد این صفحه شدند, با صفحه ای بدون محتویات روبرو شوند.
لذا در این زمان شما میتوانید به Crawlerهای موتورهای جستجو این فرمان را بدهید که این صفحه یا فولدر یا فایل و ... را در نتایج جستجوی خود (SERPs) نشان بدهد یا خیر.
بنابراین فایل robots.txt می تواند چنین نقشی را داشته باشید. نبودن فایل robots.txt اصلا به معنی سئو منفی و نمره منفی برای سئو سایت محسوب نمی شود بلکه زمانی بیشتر شما میتوانید از این فایل استفاده کنید که فرض بر index نکردن بخشی است. به دلیل اینکه به صورت پیشفرض تمامی موتورهای جستجو تمامی صفحات در داخل سایت را index می کنند و اطلاعات آن را در نتایج جستجو نمایش می دهند.