نقش اصلی فایل Robots.txt در محدود کردن دسترسی ربات‌های موتور جستجوی گوگل به محتوای سایت شما است. تمامی این ربات‌ها به‌صورت خودکار عمل می‌کنند به‌طوری‌که قبل از ورود به هر سایت یا صفحه‌ای از وجود فایل Robots.txt بر روی آن و محدود نبودن دسترسی محتویات اطمینان حاصل می‌کنند. تمام ربات‌های استاندارد در وب به قوانین و محدودیت‌ها پایبند بوده و صفحات شمارا بازدید و ایندکس نخواهند کرد ولی ناگفته نماند که بعضی از ربات‌ها توجهی به این فایل ندارند. برای مثال ربات‌های Email Harvesters و Spambots Malware یا بات‌هایی که امنیت سایت شمارا ارزیابی می‌کنند، امکان دارد هرگز این دستورات را دنبال نکنند و حتی کار خود را از بخش‌هایی از سایت آغاز کنند که اجازهٔ دسترسی به آن صفحات را ندارند.

در حقیقت با به کار بردن فایل Robots.txt این امکان برای شما به وجود می‌آید که صفحات سایت را تنها مختص کاربران خود طراحی کنید و ترسی از محتوای تکراری، وجود لینک‌های بسیار آن در صفحه و تأثیر منفی آن بر سئو سایت نداشته باشید.هنگامی‌که شما قصد دارید ربات‌های گوگل را محدود کنید از فایل Robots.txt استفاده می‌کنید ولی اگر تمام صفحات سایت قابلیت ایندکس توسط گوگل را داشته باشند نیازی به این فایل نخواهید داشت.

برای ایجاد فایل Robots.txt ابتدا شما باید به هاست دسترسی داشته باشید و این فایل را در ریشه اصلی آن کپی کنید. اگر به هر دلیلی شما به هاست دسترسی نداشته باشید می‌توانید با قرار دادن تگ‌های متا در هدر صفحه دسترسی ربات‌های گوگل را به آن محدود نمایید.

برای ممانعت از ورود تمامی روبات‌های اینترنتی به صفحه از تگ:

 

و برای محدود کردن روبات‌های گوگل از تگ:

 

استفاده می‌کنیم. در صورت مشاهده این تگ در هدر یک صفحه گوگل به‌طورکلی آن را از نتایج جستجوی خود خارج خواهد کرد.