Crawl budget

4 Min. Lesezeit · Aktualisiert am 28. August 2026

Definition

Crawl-Budget ist die begrenzte Aufmerksamkeit, die eine Suchmaschine einer Website schenkt – also wie viele ihrer URLs in einem bestimmten Zeitraum abgerufen werden. Google beschreibt es als das Produkt aus zwei Dingen: dem Crawl-Kapazität dein Server verkraftet das ohne langsamer zu werden, und das Crawl-Anfrage Dein Inhalt rechtfertigt sich.

Unter ein paar tausend Seiten ist das selten ein echtes Problem. Wo es dann aber eng wird, entscheiden interne Links darüber, wohin die Aufmerksamkeit geht: Gut verlinkte Seiten werden öfter besucht, Waisenknaben Mach das nicht.

Die meisten Websites haben kein Crawl-Budget-Problem

Das sollte man klar aussprechen, weil der Begriff oft als Ausgleich für jede Menge unnötige Arbeit herhalten muss. Eine Website mit ein paar hundert Seiten, die wöchentlich veröffentlicht, konkurriert in keinem nennenswerten Sinn um die Aufmerksamkeit von Crawlern. Wenn bei einer solchen Website Seiten nicht indexiert sind, liegt die Ursache fast immer woanders: Nichts verlinkt auf sie, sie duplizieren eine andere Seite oder sie sind es nicht wert, indexiert zu werden.

Das Crawl-Budget wird bei großen Websites zu einem echten Problem – Shops mit Facettennavigation, die tausende Parameter-URLs erzeugen, Publisher mit riesigen Archiven oder Seiten mit langsamen Servern, die den Crawler zum Abbremsen zwingen.

Wo es eigentlich verschwendet wird

Facettennavigation. Jede Filterkombination ist eine URL. Farbe mal Größe mal Preisspanne ergibt Tausende fast identischer Seiten.
Sitzungs- und Tracking-Parameter. Dieselbe Seite wurde Dutzend Male mit verschiedenen Query-Parametern aufgerufen.
Weiterleitungsketten. Jeder Hop ist eine Anfrage, die keinen Inhalt zurückgibt.
Soft 404s und dünne Archive. Leere Schlagwortseiten, Datumsarchive, die kein Schwein liest.
Unendliche Kalender. Ein Buchungs-Widget, das für jeden zukünftigen Monat für immer eine URL generiert.

Der rote Faden: Der Crawler verbringt seinen Besuch auf URLs, die niemand indexiert haben will, und die wichtigen Seiten werden dadurch seltener überprüft.

Was hat interne Verlinkung damit zu tun?

Die Crawl-Nachfrage hängt teilweise davon ab, wie wichtig eine Seite wirkt, und interne Links sind das wichtigste Signal für Wichtigkeit, das eine Website selbst steuern kann. Seiten mit vielen eingehenden internen Links und geringem Klicktiefe werden öfter abgerufen; Änderungen daran fallen früher auf.

Der praktische Rat ist also derselbe wie überall sonst auf dieser Seite: Link die Seiten, auf die es ankommt, von Seiten, die selbst verlinkt werden. Was das ist nichthinzufügen nofollow auf interne Links, um den Crawler zu steuern. Das spart kein Budget — nutze robots.txt für URLs, die niemals abgerufen werden sollen, und entferne Links zu URLs, die nicht existieren sollten.

Wie du deine eigenen siehst

Die Search Console bietet unter den Einstellungen einen Bericht zur Crawling-Statistik: Anfragen pro Tag, durchschnittliche Antwortzeit sowie eine Aufteilung nach Dateityp und Zweck. Wenn die Gesamtzahl der Anfragen bei wachsender Website gleich bleibt oder die durchschnittliche Antwortzeit steigt, lohnt sich ein Blick darauf. Server-Logdateien liefern dasselbe Bild noch detaillierter, sofern du darauf zugreifen kannst.

Crawler-Rate und Crawl-Bedarf

Die beiden Hälften verhalten sich unterschiedlich und es lohnt sich, sie zu trennen.

Crawling-Kapazität das ist eine technische Obergrenze. Google hebt sie an, solange der Server schnell antwortet, und senkt sie ab, wenn die Antworten langsamer werden oder Fehler auftreten. Eine Website, die unter Last 500er-Fehler wirft, bringt dem Crawler bei, seltener vorbeizuschauen – das ist das einzige Crawl-Budget-Problem, das wirklich ein Serverproblem ist.

Crawlnachfrage ist redaktionell. Sie steigt mit der Beliebtheit, damit, wie oft sich Inhalte tatsächlich ändern, und damit, wie wichtig eine URL durch ihre Links aussieht. Das erneute Veröffentlichen einer unveränderten Seite mit einem neuen Datum erzeugt keine Nachfrage; es bringt dem Crawler bei, dass Daten auf deiner Website bedeutungslos sind.

Symptome, bei denen man handeln sollte

Neue Seiten brauchen Wochen, bis sie auftauchen. Bei einer kleinen Website ist das ein Verlinkungsproblem, kein Budgetproblem – check mal, ob überhaupt irgendwas dorthin verlinkt.
Änderungen an bestehenden Seiten fallen erst spät auf. Schau dir an, wo diese Seiten im Linkgraph stehen.
Die Search Console zeigt viele URLs als Gefunden – zurzeit nicht indexiert. Google weiß, dass die URLs da sind, und hat beschlossen, sie nicht abzurufen. Bei einer großen Website ist das das eindeutigste Crawling-Budget-Signal, das es gibt.
Die Crawl-Statistiken zeigen gleichbleibende Zugriffe, obwohl die Website wächst. Lesenswert im Vergleich zur durchschnittlichen Antwortzeit.

Ohne diese ist jede Mühe, die in das Crawl-Budget gesteckt wird, Mühe, die nicht in etwas gesteckt wird, das die Zahlen nach oben bringt.

Punkt vor Strich

Wo es bindet, spielt die Reihenfolge eine Rolle, weil jeder Schritt die Arbeit des nächsten verringert.

Hör erst mal auf, diesen Mist-URLs zu generieren. Facettennavigation und Tracking-Parameter produzieren mehr Müll als alles andere zusammen. Blockiere die Muster in robots.txt oder hör auf, sie zu verlinken.

Und dann flach drücke Weiterleitungsketten. Jeder Hop ist eine Anfrage, die keinen Inhalt zurückgibt.

Dann korrigiere die internen Links. Seiten, die sich fürs Crawlen lohnen, sollten gut verlinkt und nicht tief sein; Seiten, die sich nicht lohnen, sollten am besten gar nicht verlinkt sein.

Dann mach das sauber Sitemap. Nur kanonische, indexierbare URLs mit genauen Änderungsdaten.

Verwandte Begriffe