Die Robots.txt ist eine Datei die Auskunft darüber gibt, ob und welche Seiten einer Webseite von Suchmaschinen (es können an dieser Stelle auch Suchmaschinen ausgeschlossen werden) durchsucht (crawling) und in den Suchergebnissen angezeigt werden dürfen.
Es ist also möglich in dieser übergreifend wirkenden Datei die Durchsuchung bestimmter Seiten zu unterbinden. Wenn keine Robots.txt Datei für die Webseite hinterlegt wurde, wird in den Suchmaschinen eine Fehlermeldung generiert.