Google und alle anderen Suchmaschinen bestehen im Wesentlichen aus den folgenden vier Komponenten:
1. Webcrawler
2. Scheduler
3. Index
4. Suchmaske
Google durchsucht mit seinen Computerprogrammen pausenlos das Internet. Diese Webcrawler (auch Spider oder Searchbots genannt) ähneln dabei technisch Webbrowsern. Die Webcrawler surfen von Webseite zu Webseite durch das Internet und laden Inhalte herunter. Sie können allerdings nur Daten von Webseiten herunterladen, wenn diese auch für sie erreichbar sind. Wird z. B. eine Registrierung vor dem möglichen Aufruf der Seite verlangt, kann der Webcrawler in der Regel nichts mit dieser Seite anfangen. Solche Seiten erscheinen in der Folge auch nicht im Google-Index.
Die Webcrawler übergeben eine Liste der auf der Webseite vorhandenen Links an den Scheduler. Dieser sammelt und verwaltet die URLs von Webseiten. Er gleicht bestehende URLs mit Neuen ab und koordiniert die Aussendung neuer Webcrawler.
Wenn ein Suchbegriff in die Suchmaske von Google eingegeben wird, durchsucht Google nicht etwa alle relevanten Webseiten im Internet, das würde viel zu lange dauern. Google durchsucht stattdessen sekundenschnell seinen eigenen Index.
Essenziell ist es, dass der Index immer top-aktuell gehalten wird. Um stets einen möglichst aktuellen Index anbieten zu können, gibt es eine spezielle Art von Webcrawler, die Freshbots. Sie besuchen speziell neue Seiten und sorgen dafür, dass diese Seiten schnell im Index erscheinen. Die Freshbots kommen in kurzer Zeit nach ihrem ersten Besuch wieder, um zu prüfen, ob sich Inhalte auf der Seite wieder geändert haben. Bemerken sie, dass sich die Inhalte häufig ändern, kommen sie in kurzen Zeitabständen wieder. Ändern sich die Inhalte selten oder nie, besuchen sie die Website in längeren Zeitabständen. Daher sollten Content-Writer ihre Texte regelmäßig aktualisieren. Die Webcrawler können so sicherstellen, dass der rasant wachsende Google-Index immer aktuell bleibt.
