Logfile Analyse

Die Logfile Analyse gehört zu den wirkungsvollsten Methoden im Technical SEO – und gleichzeitig zu den am häufigsten vernachlässigten. Wer verstehen will, wie Googlebot und andere Crawler eine Website tatsächlich wahrnehmen, kommt an der Auswertung der Server-Logs nicht vorbei. HEEY setzt die Logfile Analyse systematisch ein, um für Kunden im Rhein-Main-Gebiet konkrete Crawling-Probleme zu identifizieren und das Crawl-Budget gezielt zu optimieren.

Was ist eine Logfile Analyse und warum ist sie so aufschlussreich?

Jede Anfrage an einen Webserver – ob von einem echten Nutzer oder einem Suchmaschinen-Crawler – wird in einer sogenannten Log-Datei protokolliert. Diese Dateien enthalten Informationen wie IP-Adresse, Zeitstempel, aufgerufene URL, HTTP-Statuscode und den User-Agent. Bei der Logfile Analyse werden diese Rohdaten strukturiert ausgewertet, um das Crawling-Verhalten von Googlebot, Bingbot und Co. sichtbar zu machen.

Der entscheidende Vorteil gegenüber anderen Analyse-Methoden: Server-Logs lügen nicht. Während Tools wie die Google Search Console nur gefilterte und verzögerte Daten liefern, zeigen die Logs exakt, welche Seiten wie oft gecrawlt wurden, welche Statuscodes der Server zurückgegeben hat und wie sich das Crawling-Muster über Zeit verändert. Für Websites mit mehreren hundert oder tausend URLs ist das eine unverzichtbare Datenquelle.

Welche Daten stecken in einer Log-Datei?

Ein typischer Log-Eintrag im weit verbreiteten Combined-Log-Format enthält alle relevanten Informationen in einer einzigen Zeile. Für die SEO-Analyse sind vor allem folgende Felder interessant:

• IP-Adresse: Identifiziert den Besucher oder Crawler – Googlebot ist über bekannte IP-Ranges erkennbar.
• Zeitstempel: Zeigt, wann die Anfrage erfolgte – wichtig für die Analyse von Crawling-Frequenzen und -Mustern.
• Angefragte URL: Welche Seite wurde gecrawlt? Hier zeigen sich Duplikate, Parameter-URLs und nicht-kanonische Versionen.
• HTTP-Statuscode: 200, 301, 404, 500 – jeder Code hat eine andere SEO-Relevanz.
• User-Agent: Welcher Bot hat die Anfrage gestellt? Googlebot, AdsBot, Bingbot oder ein unbekannter Crawler.
• Referrer und Übertragungsgröße: Ergänzende Informationen, die bei der Analyse von internen Verlinkungen helfen können.

Für eine aussagekräftige Analyse empfiehlt HEEY, Log-Dateien über einen Zeitraum von mindestens 30 Tagen auszuwerten. Kürzere Zeiträume können durch saisonale Schwankungen oder temporäre Crawling-Bursts verzerrt werden.

Schritt für Schritt: So läuft eine Logfile Analyse ab

Der erste Schritt ist die Beschaffung der Log-Dateien. Je nach Hosting-Umgebung sind diese über das Hosting-Control-Panel, per FTP oder über den Server-Administrator zugänglich. Bei Managed-Hosting-Anbietern, die im Rhein-Main-Gebiet häufig von mittelständischen Unternehmen aus Frankfurt, Wiesbaden oder Darmstadt genutzt werden, ist manchmal eine explizite Aktivierung des Loggings notwendig.

Im zweiten Schritt werden die Rohdaten in ein Analyse-Tool importiert. Bewährte Werkzeuge sind Screaming Frog Log File Analyser, Botify oder selbst entwickelte Skripte auf Basis von Python und Pandas. HEEY kombiniert in der Regel mehrere Ansätze: Das automatisierte Parsing übernimmt Python, die visuelle Auswertung erfolgt in einem BI-Tool. Im dritten Schritt werden die Erkenntnisse mit anderen Datenquellen verknüpft – insbesondere mit dem Crawl der Website, der Sitemap und den Daten aus der Google Search Console.

Crawl-Budget verstehen und optimieren

Das Crawl-Budget beschreibt, wie viele Seiten Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es setzt sich aus zwei Faktoren zusammen: dem Crawl-Demand (wie interessant ist die Seite für Google?) und der Crawl-Rate (wie schnell darf Googlebot crawlen, ohne den Server zu überlasten?). Für große Websites – etwa Onlineshops mit Tausenden von Produktvarianten oder Immobilienportale, wie sie im Frankfurter Raum häufig anzutreffen sind – ist ein effizientes Crawl-Budget-Management ein echter Ranking-Faktor.

Die Logfile Analyse zeigt, ob Googlebot wertvolle Crawling-Ressourcen auf unwichtige Seiten verschwendet: Facetten-URLs mit Filterparametern, interne Suchergebnisseiten, duplizierte Kategorieseiten oder längst gelöschte Inhalte, die noch keinen 410-Statuscode zurückgeben. Wer diese Seiten konsequent aus dem Crawling ausschließt – über robots.txt, noindex oder kanonische Tags – lenkt das Crawl-Budget auf die wirklich relevanten Inhalte.

Typische Fehler, die die Logfile Analyse aufdeckt

In der Praxis zeigen sich bei der Auswertung von Server-Logs immer wieder dieselben Muster – unabhängig davon, ob es sich um eine Unternehmenswebsite aus dem Wiesbadener Stadtgebiet oder einen überregionalen E-Commerce-Anbieter handelt:

• Weiche 404-Fehler: Seiten, die einen 200-Statuscode zurückgeben, inhaltlich aber nur eine Fehlermeldung zeigen – Googlebot crawlt sie wiederholt, ohne Mehrwert.
• Redirect-Ketten: Mehrfach-Weiterleitungen (301 → 301 → 200) kosten Crawling-Ressourcen und verlangsamen die Indexierung.
• Gecrawlte noindex-Seiten: Seiten, die mit noindex ausgezeichnet sind, werden dennoch gecrawlt – das ist normal, aber in extremem Ausmaß ein Hinweis auf schlechte interne Verlinkung.
• Fehlende Crawls wichtiger Seiten: Neue Inhalte oder aktualisierte Seiten, die Googlebot seit Wochen nicht besucht hat, obwohl sie in der Sitemap stehen.
• Unbekannte Bots: Aggressive Crawler von Wettbewerbern oder Daten-Aggregatoren, die den Server belasten, ohne SEO-Nutzen zu bringen.
• Inkonsistentes Crawling nach Relaunch: Nach einem Website-Relaunch, wie ihn viele Unternehmen im Rhein-Main-Gebiet im Zuge von Digitalisierungsprojekten durchführen, zeigt die Logfile Analyse oft, ob alte URLs noch gecrawlt werden und ob die Weiterleitungsstruktur korrekt greift.

Jeder dieser Fehler lässt sich beheben – aber nur, wenn man ihn kennt. Die Logfile Analyse macht ihn sichtbar.

Logfile Analyse im lokalen Kontext: Besonderheiten für Rhein-Main

Für lokal ausgerichtete Websites – etwa Anwaltskanzleien in Wiesbaden-Mitte, Handwerksbetriebe aus Mainz-Kastel oder Arztpraxen in Rüsselsheim – ist die Logfile Analyse oft weniger ein Crawl-Budget-Thema als vielmehr ein Qualitätssignal. Wenn Googlebot bestimmte Standortseiten seltener crawlt als andere, kann das ein Hinweis darauf sein, dass diese Seiten intern schwach verlinkt oder inhaltlich dünn sind.

Ein konkretes Beispiel aus der Praxis: Ein Dienstleister mit Standorten in mehreren Städten des Rhein-Main-Gebiets hatte für jeden Standort eine eigene Seite erstellt. Die Logfile Analyse zeigte, dass Googlebot die Seiten für kleinere Standorte wie Hochheim oder Eltville deutlich seltener crawlte als die Hauptseite Frankfurt. Der Grund: Die Standortseiten waren nur über eine schwer erreichbare Unternavigation verlinkt. Nach einer Anpassung der internen Verlinkungsstruktur stieg die Crawling-Frequenz dieser Seiten spürbar an.

Logfile Analyse und Google Search Console: Daten sinnvoll kombinieren

Die Google Search Console zeigt, welche URLs von Google indexiert wurden und wie oft sie in den Suchergebnissen erschienen. Die Logfile Analyse ergänzt diese Perspektive um die Crawling-Ebene. Die Kombination beider Datenquellen erlaubt eine präzise Segmentierung: Welche gecrawlten Seiten werden nicht indexiert? Welche indizierten Seiten werden nicht mehr gecrawlt? Welche Seiten erhalten Impressionen, obwohl Googlebot sie schon lange nicht mehr besucht hat?

Besonders aufschlussreich ist der Vergleich von Crawling-Frequenz und organischem Traffic. Seiten, die häufig gecrawlt werden, aber kaum Traffic generieren, sind oft Kandidaten für eine inhaltliche Überarbeitung oder Konsolidierung. Seiten mit hohem Traffic, die selten gecrawlt werden, sollten durch stärkere interne Verlinkung besser erreichbar gemacht werden. HEEY nutzt diese kombinierte Analyse als Grundlage für die Priorisierung von Content- und Technical-SEO-Maßnahmen.

Tools für die Logfile Analyse im Überblick

Für die Auswertung von Server-Logs stehen verschiedene Werkzeuge zur Verfügung, die je nach Projektgröße und technischem Know-how unterschiedlich gut geeignet sind. Screaming Frog Log File Analyser ist für kleinere bis mittelgroße Websites ein pragmatischer Einstieg – die Bedienung ist intuitiv, und die Filterung nach User-Agents und Statuscodes funktioniert zuverlässig. Für größere Projekte mit Millionen von Log-Zeilen empfiehlt sich der Einsatz von Python-Skripten in Kombination mit Datenbank-Lösungen wie BigQuery oder PostgreSQL.

Enterprise-Lösungen wie Botify oder Oncrawl bieten eine vollständige Integration von Log-Analyse, Crawling und Performance-Daten in einer Plattform – sind aber mit entsprechenden Lizenzkosten verbunden, die sich für kleinere Websites im lokalen Umfeld oft nicht rechnen. Für die meisten mittelständischen Unternehmen im Rhein-Main-Gebiet ist ein pragmatischer Ansatz mit Open-Source-Tools und gezielter manueller Analyse der effizientere Weg.

Wann lohnt sich eine Logfile Analyse besonders?

Eine Logfile Analyse ist nicht für jede Website gleich wertvoll. Bei kleinen Websites mit unter 100 URLs und stabiler Indexierung liefert sie selten überraschende Erkenntnisse. Den größten Nutzen entfaltet sie in folgenden Situationen:

• Nach einem Website-Relaunch oder Domain-Umzug: Prüfen, ob Weiterleitungen greifen und neue URLs gecrawlt werden.
• Bei unerklärlichen Ranking-Verlusten: Feststellen, ob Googlebot bestimmte Seiten plötzlich seltener oder gar nicht mehr crawlt.
• Bei großen Websites mit dynamischen URLs: Identifizieren, welche Parameter-Kombinationen unnötig gecrawlt werden.
• Vor und nach technischen Änderungen: Validieren, ob robots.txt-Anpassungen oder noindex-Tags die gewünschte Wirkung haben.
• Bei Verdacht auf Crawling-Probleme: Wenn neue Inhalte trotz Sitemap-Einreichung nicht indexiert werden.

HEEY empfiehlt, die Logfile Analyse als festen Bestandteil regelmäßiger Technical-SEO-Audits zu etablieren – nicht nur als Reaktion auf Probleme, sondern als proaktives Monitoring-Instrument.