Screaming Frog SEO Spider ist eines der meistgenutzten technischen SEO-Werkzeuge weltweit – und gleichzeitig eines der am häufigsten falsch eingesetzten. Wer den Crawler nur für eine schnelle Fehlerübersicht startet und dann wieder schließt, verschenkt den größten Teil seines Potenzials. HEEY erklärt in diesem Ratgeber, wie Sie Screaming Frog systematisch nutzen, welche Analysen wirklich entscheidend sind und welche typischen Fehler selbst erfahrene SEO-Teams immer wieder machen.
Was Screaming Frog ist und wie der Crawler grundsätzlich funktioniert
Screaming Frog SEO Spider ist ein Desktop-Programm des gleichnamigen britischen Unternehmens. Es crawlt Websites ähnlich wie ein Suchmaschinen-Bot: Es folgt internen und externen Links, liest HTML-Quellcode aus und sammelt dabei strukturierte Daten zu jeder gefundenen URL. Die kostenlose Version erlaubt das Crawlen von bis zu 500 URLs – für kleinere Projekte oft ausreichend, für größere Unternehmenswebsites oder umfangreiche lokale Portale im Rhein-Main-Gebiet ist die kostenpflichtige Lizenz notwendig.
Der entscheidende Unterschied zu einfachen Online-Audit-Tools: Screaming Frog liest die Seite so, wie ein Browser sie empfängt – inklusive HTTP-Header, Weiterleitungsketten und Statuscodes. Das macht ihn besonders präzise bei der Diagnose technischer Probleme. Wer zum Beispiel für ein Wiesbadener Immobilienbüro oder einen Frankfurter Onlineshop arbeitet, bekommt mit Screaming Frog ein vollständiges Bild der technischen Seitenstruktur, das kein reines Reporting-Dashboard liefern kann.
Die wichtigsten Konfigurationen vor dem ersten Crawl
Bevor Sie den ersten Crawl starten, lohnt sich eine sorgfältige Konfiguration. Standardmäßig crawlt Screaming Frog alle internen URLs – das schließt unter Umständen Staging-Umgebungen, Parameterduplikate oder nicht indexierbare Seiten ein. Unter Configuration → Spider sollten Sie festlegen, welche Ressourcentypen (Bilder, CSS, JavaScript) mitgecrawlt werden sollen und ob JavaScript-Rendering aktiviert ist. Letzteres ist besonders relevant für moderne React- oder Vue.js-basierte Websites, bei denen Inhalte erst clientseitig geladen werden.
Für Local-SEO-Projekte im Rhein-Main-Raum empfiehlt HEEY außerdem, die Custom Extraction-Funktion vorab zu konfigurieren. Damit lassen sich strukturierte Daten wie Schema.org-Markup, LocalBusiness-Typen oder OpenGraph-Tags direkt aus dem Quellcode auslesen – wertvolle Informationen, wenn Sie prüfen wollen, ob ein Mainzer Restaurant oder ein Rüsselsheimer Handwerksbetrieb korrekte lokale Markup-Implementierungen hat.
HTTP-Statuscodes verstehen und gezielt auswerten
Der Reiter Response Codes in Screaming Frog ist der erste Anlaufpunkt nach jedem Crawl. Hier sehen Sie auf einen Blick, welche URLs mit einem 200-OK-Status ausgeliefert werden, welche auf andere Seiten weiterleiten und welche mit einem Fehlercode antworten. Besonders kritisch sind 404-Fehler auf Seiten, die noch extern verlinkt sind oder Backlinks besitzen – diese vernichten nicht nur Nutzererfahrung, sondern auch Linkkapital.
Weiterleitungsketten (301 → 301 → 200) sind ein häufig unterschätztes Problem. Jede zusätzliche Weiterleitung in einer Kette kostet Ladezeit und schwächt die Weitergabe von Link Equity. HEEY sieht in Audits für Wiesbadener Unternehmen regelmäßig Ketten mit drei oder vier Weiterleitungen, die aus historischen Relaunchs stammen und nie bereinigt wurden. Screaming Frog zeigt diese Ketten unter Reports → Redirect Chains übersichtlich auf.
Title-Tags und Meta-Descriptions effizient prüfen
Unter dem Reiter Page Titles listet Screaming Frog alle gefundenen Title-Tags inklusive ihrer Zeichenlänge. Zu kurze Titles (unter 30 Zeichen) verschenken Ranking-Potenzial, zu lange werden in den Suchergebnissen abgeschnitten. Besonders bei lokalen Landingpages – etwa für einen Steuerberater in Mainz-Hechtsheim oder eine Zahnarztpraxis in Wiesbaden-Biebrich – ist der Title der erste Berührungspunkt mit dem Nutzer in den Suchergebnissen und verdient besondere Sorgfalt.
Doppelte Title-Tags sind ein häufiger Befund, der bei größeren Websites mit dynamischen Systemen schnell entsteht. Screaming Frog filtert Duplikate direkt heraus. Gleiches gilt für Meta-Descriptions: fehlende, doppelte oder zu lange Beschreibungen lassen sich mit wenigen Klicks identifizieren und exportieren. Der Export als CSV oder Google Sheets erleichtert die anschließende redaktionelle Bearbeitung erheblich.
Interne Verlinkung analysieren und Crawl-Tiefen optimieren
Eine der leistungsfähigsten Funktionen von Screaming Frog ist die Analyse der internen Verlinkungsstruktur. Unter Bulk Export → All Inlinks erhalten Sie eine vollständige Liste aller internen Links mit Quell-URL, Ziel-URL und Ankertext. So lässt sich erkennen, welche Seiten besonders gut intern verlinkt sind – und welche kaum erreichbar sind. Seiten mit hoher Crawl-Tiefe (mehr als vier Klicks von der Startseite entfernt) werden von Suchmaschinen seltener gecrawlt und haben es schwerer zu ranken.
Für lokale Dienstleister im Rhein-Main-Gebiet ist die interne Verlinkung besonders relevant, wenn stadtspezifische Landingpages existieren – etwa separate Seiten für Wiesbaden, Frankfurt, Mainz und Darmstadt. Screaming Frog zeigt, ob diese Seiten ausreichend intern verlinkt sind oder ob sie als sogenannte Orphan Pages im Nichts hängen. Orphan Pages sind Seiten ohne eingehende interne Links – sie werden von Suchmaschinen oft gar nicht erst gefunden.
- Crawl-Tiefe prüfen: Wichtige Seiten sollten maximal drei Klicks von der Startseite entfernt sein.
- Ankertexte analysieren: Generische Ankertexte wie „hier klicken“ helfen Suchmaschinen nicht beim Verstehen des Seiteninhalts.
- Orphan Pages identifizieren: Über den Abgleich mit der Sitemap lassen sich verwaiste Seiten aufdecken.
- Interne Links auf Weiterleitungen prüfen: Links, die auf weiterleitende URLs zeigen, sollten direkt auf das Ziel aktualisiert werden.
Duplicate Content und Canonical-Tags korrekt auswerten
Screaming Frog erkennt doppelte Inhalte auf Basis von identischen oder sehr ähnlichen Seitentiteln, Meta-Descriptions und – in Kombination mit der Custom Extraction – auch anhand von Textinhalten. Unter Content → Duplicate Pages werden Seiten mit identischem Inhalt gruppiert. Dieses Problem tritt häufig bei Shops mit Produktvarianten, bei Immobilienportalen mit ähnlichen Exposé-Seiten oder bei mehrsprachigen Websites auf.
Canonical-Tags sind das gängigste Mittel gegen Duplicate Content – aber nur, wenn sie korrekt implementiert sind. Screaming Frog zeigt unter Directives → Canonical, welche Seiten einen Canonical-Tag besitzen, wohin dieser zeigt und ob es Widersprüche gibt (z. B. eine Seite mit Canonical auf sich selbst, obwohl sie eigentlich auf eine andere Version verweisen sollte). Ein häufiger Fehler: Seiten, die per Noindex ausgeschlossen sind, tragen gleichzeitig einen Canonical auf sich selbst – das ist widersprüchlich und kann Suchmaschinen verwirren.
Bilder, Alt-Texte und technische On-Page-Elemente prüfen
Unter dem Reiter Images listet Screaming Frog alle gefundenen Bilder inklusive ihrer Dateigröße, des Alt-Attributs und des HTTP-Status. Fehlende Alt-Texte sind nicht nur ein Barrierefreiheitsproblem, sondern auch eine verpasste SEO-Chance – besonders bei Produktbildern oder lokalen Referenzfotos. Für ein Wiesbadener Architekturbüro, das Projektfotos aus dem Rheingau oder dem Taunus zeigt, sind beschreibende Alt-Texte ein einfacher Hebel zur besseren Auffindbarkeit in der Google-Bildersuche.
Zu große Bilddateien verlängern die Ladezeit und verschlechtern den Core Web Vitals-Wert Largest Contentful Paint (LCP). Screaming Frog zeigt die Dateigröße jedes Bildes direkt an – so lassen sich Ausreißer schnell identifizieren. Darüber hinaus lassen sich über die Custom Search-Funktion spezifische Elemente im Quellcode suchen, etwa veraltete Analytics-Snippets, nicht migrierte HTTP-Links in HTTPS-Seiten oder fehlende Viewport-Meta-Tags für mobile Darstellung.
- Alt-Texte: Fehlende oder generische Alt-Attribute (z. B. „IMG_4521.jpg“) sollten durch beschreibende Texte ersetzt werden.
- Bildgröße: Bilder über 200 KB sollten komprimiert oder in modernen Formaten wie WebP ausgeliefert werden.
- Broken Images: Bilder mit 404-Status erzeugen Fehler in der Browser-Konsole und schaden der Nutzererfahrung.
- Lazy Loading: Prüfen, ob Bilder unterhalb des sichtbaren Bereichs mit dem Attribut loading="lazy" ausgestattet sind.
Integration mit Google Search Console und Google Analytics
Screaming Frog kann direkt mit der Google Search Console und Google Analytics verbunden werden. Über Configuration → API Access lassen sich GSC-Daten wie Impressionen, Klicks und durchschnittliche Position direkt in den Crawl-Export einbinden. So sehen Sie auf Seitenebene nicht nur technische Eigenschaften, sondern auch, wie die Seite tatsächlich in der Suche performt. Das ist besonders nützlich, um Seiten mit hoher Crawl-Priorität, aber niedriger Sichtbarkeit zu identifizieren.
Die Kombination aus Screaming Frog-Daten und GSC-Klickdaten ermöglicht eine fundierte Priorisierung von Optimierungsmaßnahmen. Wenn eine Seite technisch einwandfrei ist, aber kaum Klicks generiert, liegt das Problem möglicherweise am Title-Tag oder der Meta-Description. Wenn eine Seite viele Impressionen hat, aber eine niedrige Klickrate, lohnt sich eine Überarbeitung des Snippets. Diese Analyse ist ohne die Verbindung beider Datenquellen kaum möglich.
Typische Fehler beim Einsatz von Screaming Frog und wie Sie sie vermeiden
Ein verbreiteter Fehler ist das Crawlen ohne vorherige Konfiguration des User-Agents. Manche Websites liefern für bekannte Crawler andere Inhalte aus als für normale Nutzer – das verfälscht die Ergebnisse. HEEY empfiehlt, den User-Agent auf Googlebot zu setzen, um möglichst nah an der Perspektive der Suchmaschine zu crawlen. Gleichzeitig sollte sichergestellt sein, dass die robots.txt den Googlebot nicht versehentlich blockiert – was beim Testen auf Staging-Systemen häufig vergessen wird.
Ein weiterer typischer Fehler: der Crawl wird gestartet, die Ergebnisse werden exportiert, aber keine Maßnahmen werden priorisiert. Screaming Frog liefert Daten – die Interpretation und Priorisierung liegt beim SEO-Team. Für Unternehmen im Rhein-Main-Gebiet, die mit begrenzten Entwicklerressourcen arbeiten, ist eine klare Priorisierung nach Auswirkung und Aufwand entscheidend. Nicht jeder 404-Fehler ist gleich kritisch – ein 404 auf einer Seite ohne Backlinks und ohne internen Traffic hat eine andere Priorität als ein 404 auf einer verlinkten Kategorienseite mit Ranking-Historie.
Häufige Fragen
Ist die kostenlose Version von Screaming Frog für lokale Unternehmen ausreichend?
Für kleine Websites mit weniger als 500 URLs – etwa die Website eines Wiesbadener Handwerksbetriebs oder einer Arztpraxis – ist die kostenlose Version in der Regel ausreichend. Sobald eine Website mehr Unterseiten hat oder regelmäßige Crawls geplant sind, lohnt sich die Jahreslizenz, die aktuell im mittleren zweistelligen Euro-Bereich liegt und unbegrenzte Crawls ermöglicht.
Wie oft sollte ich meine Website mit Screaming Frog crawlen?
Für aktiv gepflegte Websites empfiehlt HEEY einen monatlichen Crawl als Minimum. Nach größeren Änderungen – wie einem Relaunch, einer Seitenstrukturänderung oder dem Launch neuer Landingpages – sollte unmittelbar danach ein Crawl erfolgen. So lassen sich Fehler früh erkennen, bevor sie sich negativ auf Rankings auswirken.
Kann Screaming Frog JavaScript-basierte Inhalte crawlen?
Ja, Screaming Frog unterstützt JavaScript-Rendering über eine integrierte Chromium-Engine. Diese Funktion muss unter <strong>Configuration → Spider → Rendering</strong> aktiviert werden. Das Rendering verlangsamt den Crawl erheblich und erhöht den Ressourcenbedarf, ist aber notwendig für Websites, die Inhalte dynamisch nachladen – etwa SPAs oder moderne E-Commerce-Systeme.
Wie unterscheidet sich Screaming Frog von Tools wie Ahrefs Site Audit oder Semrush?
Screaming Frog ist ein lokales Desktop-Tool, das direkt auf Ihrer Maschine läuft und keine Daten in die Cloud überträgt. Das macht es datenschutzfreundlicher und ermöglicht vollständige Kontrolle über den Crawl-Prozess. Cloud-basierte Tools wie Ahrefs oder Semrush bieten dafür integrierte Backlink-Daten und automatisierte Berichte, sind aber bei der Tiefe der technischen Analyse oft weniger präzise.
Kann ich Screaming Frog auch für Wettbewerber-Analysen nutzen?
Grundsätzlich ja – Screaming Frog crawlt jede öffentlich zugängliche Website. Allerdings sollten Sie dabei die robots.txt des Wettbewerbers respektieren und keine aggressiven Crawl-Einstellungen verwenden, die Server belasten könnten. Für eine oberflächliche Strukturanalyse eines Mitbewerbers im Rhein-Main-Gebiet ist Screaming Frog ein nützliches Werkzeug, um etwa die interne Verlinkungsstrategie oder die Title-Tag-Struktur zu verstehen.
Wie exportiere ich Screaming Frog-Daten für Berichte oder die Weitergabe an Entwickler?
Unter <strong>Reports</strong> und <strong>Bulk Export</strong> bietet Screaming Frog zahlreiche vorkonfigurierte Exportoptionen als CSV-Dateien. Diese lassen sich direkt in Google Sheets importieren oder mit anderen Datensätzen – etwa aus der Google Search Console – per SVERWEIS verknüpfen. Für die Weitergabe an Entwickler empfiehlt HEEY, die relevanten Fehler nach Priorität zu filtern und nur die actionable Daten zu exportieren, nicht den gesamten Rohdatensatz.
Wir setzen es professionell um – sprechen Sie mit unseren SEO-Expert:innen.
Kostenlose Beratung