Crawl Budget: Wie HTTP-Status-Codes Ihr SEO-Ranking beeinflussen

HTTP-Status-Codes sind kein Detail für Entwickler allein. Sie steuern, wie effizient Suchmaschinen eine Website crawlen.

TL;DR

Ihr Crawl Budget ist endlich, und verschiedene HTTP-Status-Codes verbrauchen es unterschiedlich. 2xx-Codes (Erfolg) und 3xx-Codes (Weiterleitungen) konsumieren Budget. 4xx-Codes beeinträchtigen es nicht direkt, mit Ausnahme von 429. 5xx-Fehler und 429 verlangsamen das Crawling erheblich und verschwenden Ressourcen. Wer die Status-Codes optimiert, kann die Crawling-Effizienz um bis zu 40 Prozent steigern und mehr wichtige Seiten in den Index bringen.

Einleitung

Google schickt täglich einen Crawler, der nur begrenzt Zeit hat. Defekte Seiten, endlose Weiterleitungen oder Serverfehler verschwenden diese Zeit. In meiner Arbeit als SEO Manager habe ich viele Websites gesehen, die Potenzial verschenken, weil die Beziehung zwischen Crawl Budget und HTTP-Status-Codes nicht verstanden wird. Verbreitet ist die Annahme, alle Fehlerseiten seien gleich. Das ist ein kostspieliger Irrtum. Das Crawl Budget bestimmt, wie viele Seiten Google in einem Zeitraum crawlt, und jeder Status-Code beeinflusst es anders.

Was ist Crawl Budget und warum ist es entscheidend?

Das Crawl Budget ist die Anzahl der Seiten, die der Googlebot in einem Zeitraum crawlen kann und will. Dahinter stehen zwei Hauptfaktoren: das Crawl Rate Limit, also wie schnell Google crawlen kann, ohne den Server zu überlasten, und der Crawl Demand, also wie sehr Google die Inhalte überhaupt crawlen möchte. Kritisch wird das Crawl Budget vor allem bei Websites mit mehr als 10.000 indexierbaren Seiten. Jeder Request verbraucht einen Teil davon, und die Server-Antwort entscheidet, ob er wertvoll war oder verschwendet wurde.

Die versteckten Kosten ineffizienter Status-Codes

In der Praxis verschwenden Websites mit schlecht optimierten Status-Codes bis zu 60 Prozent ihres Crawl Budgets. Wichtige neue Inhalte werden dann unter Umständen wochenlang nicht gecrawlt. Ein Beispiel aus einem Projekt: Ein E-Commerce-Shop mit 50.000 Produktseiten hatte täglich rund 3.000 404-Fehler von veralteten Produkten. Ein 404 beeinträchtigt das Budget zwar nicht direkt, aber interne Links und Sitemaps führten dazu, dass Google Zeit mit toten Seiten verbrachte, statt neue Produkte zu entdecken.

HTTP-Status-Codes und ihr Einfluss auf das Crawl Budget

1xx (Informational)

Diese Codes verbrauchen kein Crawl Budget. Sie signalisieren, dass der Request noch verarbeitet wird, und sind für den Googlebot transparent. In der Praxis sind sie selten sichtbar.

2xx (Success)

2xx-Codes konsumieren das Crawl Budget vollständig, denn der Googlebot erhält Inhalte, die verarbeitet und gegebenenfalls indexiert werden. Allerdings sind nicht alle 2xx gleich wertvoll. Ein 200 für eine wichtige Produktseite ist eine Investition, ein 200 für eine leere Kategorieseite dagegen Verschwendung. Mein Praxis-Tipp: Prüfen Sie regelmäßig, welche 200-Seiten wirklich Substanz tragen. Seiten mit dünnem Inhalt oder ohne SEO-Wert bekommen einen 404 oder ein noindex.

3xx (Redirects)

Weiterleitungen verbrauchen Budget pro Hop. Eine Kette von A nach B nach C verbraucht dreimal so viel wie ein direkter 200. In einem Audit fand ich eine Website mit durchschnittlich 2,3 Weiterleitungen pro gecrawlter URL. Die wichtigsten Codes im Überblick: Ein 301 ist permanent, und Google crawlt mit der Zeit die Ziel-URL direkt. Ein 302 ist temporär, hier crawlt Google die ursprüngliche URL weiter, was dauerhaft Budget verbraucht. Die Codes 307 und 308 verhalten sich ähnlich wie 302 und 301, folgen aber strikteren Regeln für die HTTP-Methode. Zur Optimierung gehört: Ketten unter drei Hops halten, 301 für permanente Änderungen einsetzen und regelmäßig mit Tools wie Screaming Frog prüfen.

4xx (Client Error)

4xx-Codes beeinträchtigen das Crawl Budget nicht direkt, mit Ausnahme von 429. Existiert eine Seite nicht (404) oder ist sie nicht zugänglich (403), muss Google keine Ressourcen für die Inhaltsverarbeitung aufwenden. Die Ausnahme bildet der 429 (Too Many Requests), der sich wie ein 5xx verhält. Problematischer sind Soft 404s: Seiten mit 200-Code, aber ohne wertvollen Content verbrauchen Budget wie normale 200-Seiten. Typische Beispiele sind leere Kategorieseiten mit dem Hinweis „Keine Produkte gefunden“, Suchresultate ohne Ergebnisse oder abgelaufene Event-Seiten, die noch online stehen. Meine Empfehlung: echte 404-Codes für nicht existierende Inhalte ausliefern.

5xx (Server Error) und 429

Diese Codes können nicht indexiert werden und verlangsamen das Crawling, weil Google bei Server-Fehlern die Crawl-Rate reduziert und sie als Überlastungssignal interpretiert. Kritisch sind der 500 (Internal Server Error), bei dem Google es später erneut versucht, der 502 und 503 (Bad Gateway, Service Unavailable) mit längeren Retry-Intervallen sowie der 504 (Gateway Timeout), der auf Performance-Probleme hindeutet. Der 429 ist ein Sonderfall: technisch ein 4xx, im Verhalten aber wie ein 5xx, mit sofortiger Reduzierung der Crawl-Rate. Ein Beispiel aus einem Projekt: Sporadische 503-Fehler während Wartungsarbeiten ließen Googles Crawl-Rate um 70 Prozent einbrechen, und die Erholung dauerte drei Wochen. Seitdem setze ich 503-Wartungsseiten nur noch für geplante, kurze Ausfälle ein.

Übersicht: HTTP-Status-Codes und Crawl-Budget-Impact

Status-Code-Kategorie	Crawl-Budget-Verbrauch	Indexierbarkeit	Empfohlene Aktion
1xx (Informational)	Kein Verbrauch	N/A	Keine Aktion nötig
2xx (Success)	Vollständiger Verbrauch	Ja	Für wertvollen Content optimieren
3xx (Redirect)	Verbrauch pro Hop	Ziel-URL	Weiterleitungsketten minimieren
4xx (Client Error)	Kein direkter Verbrauch	Nein	Echte 404s implementieren
429 (Too Many Requests)	Verbrauch plus Crawl-Rate-Reduktion	Nein	Server-Kapazität überprüfen
5xx (Server Error)	Verbrauch plus Crawl-Rate-Reduktion	Nein	Sofortige Fehlerbehebung

Praktische Optimierungsstrategien

Status-Code-Audit durchführen. Geeignete Tools sind die Google Search Console (Coverage Report), der Screaming Frog SEO Spider und die Analyse der Server-Logs. Wichtige Metriken sind das Verhältnis von 2xx zu anderen Codes, die Anzahl der Weiterleitungsketten, die Häufigkeit von 5xx und die Identifikation von Soft 404s.
Weiterleitungen optimieren. Kurzfristig: Ketten auf maximal zwei Hops reduzieren, 302 durch 301 ersetzen (sofern permanent), interne Links direkt auf die Ziel-URLs setzen und die Sitemap-URLs auf finale Ziele prüfen. Langfristig empfiehlt sich ein Redirect-Management-System, das Ketten erkennt und meldet.
Soft 404s eliminieren. Erkennbar sind sie am 200-Status mit dünnem Content, an Kategorieseiten ohne Produkte, an Suchresultaten ohne Ergebnisse und an abgelaufenem, aber weiter erreichbarem Content. Lösung: echte 404, ein 410 für dauerhaft entfernte Inhalte, noindex für temporär leere Seiten und ein Canonical für ähnliche Inhalte.
Server-Performance überwachen. Zum Monitoring gehören Real-Time-Server-Monitoring, Uptime-Checks alle fünf Minuten, Performance-Alerts und Benachrichtigungen bei 5xx-Fehlern. Auf der präventiven Seite helfen Load Balancing, ein CDN für statische Ressourcen, Datenbank-Optimierung und Caching.
Crawl Budget priorisieren. Steuern Sie über XML-Sitemaps für wichtige Seiten, interne Verlinkung zu prioritären Inhalten, robots.txt für unwichtige Bereiche und ein sauberes URL-Parameter-Handling. Eine sinnvolle Content-Hierarchie unterscheidet vier Stufen: Tier 1 sind geldverdienende Seiten (Produkte, Services), Tier 2 trafficgenerierende Inhalte (Blog, Guides), Tier 3 Support (FAQ, Kontakt) und Tier 4 administrative Seiten (Impressum, AGB).

Erfolg messen: KPIs

Drei Kennzahlen stehen im Mittelpunkt. Die Crawl-Rate in der Search Console zeigt, wie viele Seiten Google pro Tag crawlt und wohin der Trend läuft. Bei der Indexierungsgeschwindigkeit zählt die Zeit von der Veröffentlichung bis zur Indexierung; der Coverage Report macht sichtbar, wie viele neue Seiten pro Woche es in den Index schaffen. Am meisten sagt die Status-Code-Verteilung. Hier gelten klare Zielwerte: ein 2xx-Anteil über 90 Prozent, ein 5xx-Anteil unter 1 Prozent, dazu eine sinkende Zahl an Weiterleitungsketten.

Sekundär lohnt der Blick auf den organischen Traffic neuer Seiten, sobald sie indexiert sind, dazu CTR und Position in den SERPs. Und die Server-Seite zählt mit: Antwortzeit, eine Uptime über 99,9 Prozent, eine niedrige Fehlerrate auch bei Lastspitzen.

Messbare Ergebnisse zeigt die Crawl-Budget-Optimierung meist nach zwei bis vier Wochen. In einem Projekt stieg die Zahl der gecrawlten Seiten um 35 Prozent, nachdem wir Ketten und 5xx-Fehler eliminiert hatten.

Fazit

Crawl-Budget-Optimierung über sauberes Status-Code-Management bleibt eine Daueraufgabe, und sie zahlt sich messbar aus. Drei Maßnahmen tragen am stärksten: 5xx-Fehler und Weiterleitungsketten eliminieren, echte 404 statt Soft 404 ausliefern und die Server-Performance kontinuierlich überwachen. Zusammen können sie die Crawling-Effizienz um 30 bis 50 Prozent steigern. Jeder gesparte Anteil am Crawl Budget ist eine zusätzliche Chance für Google, wichtige Inhalte zu entdecken. Beginnen Sie mit einem Status-Code-Audit.