1. כיצד מנוע החיפוש עכבישים מפרשים robots.txt (תקן אי הכללת רובוטים)
קובץ robots.txt הוא מסמך טקסט רגיל הממוקם בספריית הבסיס של דומיין (למשל https://example.com/robots.txt) המורה לסורקי אינטרנט אוטומטיים ולעכבישים של מנועי חיפוש (כגון Googlebot וBingbot אשר מותרים או חלקים מאתר מהם מותרים) מנוהל על ידי פרוטוקול אי הכללת רובוטים (RFC 9309), הוא משמש כמנגנון ניהול תקציב הסריקה העיקרי עבור אופטימיזציה למנועי חיפוש (SEO).