Suchmaschinen sind gigantische Datenbanken. Diese Daten von Webseiten im World Wide Web werden erfasst und automatisch analysiert. Die Erfassung erfolgt durch sogenannte Webcrawler.
Dann erfolgt eine Auswertung der Webseiten im Hinblick auf: Inhalt und Relevanz für bestimmte Suchbegriffe. Aus diesem Ranking ergibt sich die Reihenfolge der Suchergebnisse auf der SERP (Search Engine Result Page).
Der Algorithmus für dieses Ranking ist nicht bekannt und wird von den Suchmaschinenbetreibern des Öfteren geändert. Dies ist u. a. eine Maßnahme um Manipulationen an den Suchergebnissen vorzubeugen.
Die Webcrawler der Suchmaschinen können mit Hilfe des Meta-Tags „robots“, in den Meta-Daten, bedingt gesteuert werden. Alle Angaben an dieser Stelle sind jedoch nur Richtinformationen und die Suchmaschinen behalten sich die Indizierung der Webseite vor.
Ein sauberer Quelltext (valider HTML Code) erleichtert den Suchmaschinen die Indexierung der Webseite. Hier ist die Trennung von Layout und Inhalt eine wichtige Voraussetzung. Dies wird durch den Einsatz von Cascading Style Sheets (CSS) erreicht.
Mit einer optimierten Webseite steigt oft die Möglichkeit in Suchmaschinen unter den relevanten Suchbegriffen gefunden zu werden.