فایل robots.txt: یکی از موارد مهم در سئو تکنیکال که با استفاده از آن می توان نرخ بودجه سایت را تنظیم کرد. 

تمام فعالیت ها و اقدامات بهینه سازی که بر روی سایت انجام می دهیم باید توسط ربات های گوگل ایندکس شود تا اثر گذاری آن بر رتبه بندی سایت مشخص شود و در نتایج در رتبه های بهتری قرار بگیرد. به همین دلیل باید گوگل را به نحوی هدایت کنیم که صفحات سایت ما به صورت صحیح و طبق برنامه ایی که برای سئو سایت داریم ایندکس شود.

فایل robots.txt چیست؟

ازموارد فنی( سئو تکنیکال) که برای بهینه کردن ایندکس صفحات سایت به کار میرود استفاده از فایل robots.txt است. Robots.txt یک فایل متنی است که برای هدایت ربات های موتور جستجو برای نحوه خزیدن و ایندکس صفحات وب سایت استفاده می شود. از آنجا که فایل robots.txt ربات های جستجو را در مورد نحوه خزیدن صفحات مختلف وب سایت شما راهنمایی می کند، دانستن نحوه استفاده و تنظیم این فایل بسیار مهم است. برای جلوگیری از ایندکس شدن صفحات می توان از روش های دیگر مانند تگ noindex استفاده کرد اما زمانی که بخواهید یک دسته از صفحات ایندکس نشوند، نمی توانید برای هر کدام از صفحات به صورت جداگانه از تگ noindex استفاده کنید. در اینجا robots.txt به کمک شما می آید.

از ایندکس شدن چه صفحاتی باید جلوگیری شود؟

با استفاده از فایل robots.txt میتوان از ایندکس شدن بسیاری از صفحات مانند دسته بندی ها، تگ ها و صفحات خاص جلوگیری کرد. برخی از صفحاتی که باید توسط robots.txt از ایندکس شدن جلوگیری شوند، موارد زیر است.

  • صفحاتی که محتوای تکراری دارند ( duplicate content)
  • تگ ها و برچسب هایی که باعث ایجاد محتوای تکراری و یا اضافه در سایت می شوند
  • فیلتر بندی صفحات محصول که شامل فیلتر های قیمت، رنگ و ... می شوند
  • صفحاتی که با سرچ کردن در خود سایت ایجاد می شوند ( در صورتی که صفحات اصلی و مهم شما توسط کاربران در سایت سرچ نشود)
  • تمامی صفحات ادمین و پنل سایت
  • صفحه پروفایل کاربران سایت
  • صفحات چت
  • برخی از فایل های قالب که نیازی به دیده شدن توسط گوگل ندارند