Robots.txt הוא קובץ טקסט פשוט שממוקם בשרת של אתר אינטרנט ומשמש להנחיית מנועי החיפוש כיצד לסרוק ולהציג את האתר בתוצאות החיפוש. הקובץ מכתיב אילו דפים או חלקים באתר זמינים לסריקה (crawl) ואילו לא, ובכך מאפשר למנהלי אתרים לשלוט על הנראות והחשיפה של תכנים מסוימים.
קובץ robots.txt הוצג לראשונה בשנת 1994 כחלק מפרוטוקול ה-Robots Exclusion Protocol, במטרה להתמודד עם הבעיה של סורקי רשת (web crawlers) שגרמו לעומס על שרתים או ניגשו לתכנים רגישים.
| בתחילת הדרך היו מקרים בהם מנהלי אתרים הגדירו בטעות הגבלות שגרמו להיעלמות האתר כולו מתוצאות החיפוש, רק בגלל שורה אחת שגויה בקובץ. מאז, קובץ זה הפך לכלי קריטי בתהליך של בניית אתרים ו-קידום אורגני בגוגל, במיוחד בניהול דפים שלא אמורים להיות ציבוריים, כמו עמודי בדיקה או תוכן משוכפל. |
