Meta Robots ist ein HTML-Tag im Head-Bereich einer Webseite, das Suchmaschinen-Crawlern mitteilt, wie sie mit der jeweiligen Seite umgehen sollen – ob sie indexiert, verfolgt, gecacht oder aus den Suchergebnissen ausgeschlossen werden soll. Es steuert damit direkt die Sichtbarkeit einzelner URLs in Suchmaschinen wie Google oder Bing.
Wer kontrollieren möchte, welche Seiten seiner Website in den Suchergebnissen erscheinen und welche unsichtbar bleiben sollen, kommt am Meta-Robots-Tag nicht vorbei. Es ist eines der wirkungsvollsten On-Page-Elemente im technischen SEO – und eines der gefährlichsten, wenn es falsch eingesetzt wird.
HEEY erklärt, wie das Tag funktioniert, welche Direktiven es kennt und welche Fehler selbst erfahrene Website-Betreiber im Rhein-Main-Gebiet immer wieder machen.
Was ist das Meta-Robots-Tag und wie funktioniert es?
Das Meta-Robots-Tag wird im <head>-Bereich einer HTML-Seite platziert und enthält Anweisungen für Suchmaschinen-Crawler. Die grundlegende Syntax lautet: <meta name="robots" content="index, follow">. Der Wert name kann dabei allgemein auf „robots“ lauten – dann gilt die Direktive für alle Crawler – oder gezielt auf einzelne Bots wie „googlebot“ oder „bingbot“ ausgerichtet sein.
Der content-Parameter nimmt eine oder mehrere kommagetrennte Direktiven entgegen. Die wichtigsten sind index (Seite darf indexiert werden), noindex (Seite darf nicht indexiert werden), follow (Links auf der Seite dürfen verfolgt werden) und nofollow (Links dürfen nicht verfolgt werden). Kombinationen wie „noindex, follow“ sind ebenso möglich wie erweiterte Direktiven wie nosnippet, noarchive oder max-snippet.
Sobald ein Crawler die Seite besucht und das Tag ausliest, befolgt er – sofern er standardkonform arbeitet – diese Anweisungen unmittelbar. Google hat in der Vergangenheit bestätigt, dass Googlebot das Meta-Robots-Tag zuverlässig respektiert, sofern die Seite überhaupt gecrawlt werden kann.
Die wichtigsten Meta-Robots-Direktiven im Überblick
Die Bandbreite der verfügbaren Direktiven ist größer, als viele Website-Betreiber annehmen. Neben den Grundwerten gibt es eine Reihe erweiterter Steuerungsmöglichkeiten, die insbesondere für Publisher und E-Commerce-Websites relevant sind.
- index / noindex: Steuert, ob die Seite in den Suchindex aufgenommen wird.
- follow / nofollow: Bestimmt, ob Crawler den Links auf der Seite folgen und Linkjuice weitergeben.
- noarchive: Verhindert, dass Google eine gecachte Version der Seite speichert und anzeigt.
- nosnippet: Unterbindet die Anzeige eines Textausschnitts (Snippet) in den Suchergebnissen.
- max-snippet:[n]: Begrenzt die Zeichenanzahl des angezeigten Snippets auf einen bestimmten Wert.
- max-image-preview:[setting]: Kontrolliert die Größe von Vorschaubildern in den SERPs.
- max-video-preview:[n]: Legt fest, wie viele Sekunden einer Videovorschau Google anzeigen darf.
- none: Entspricht der Kombination „noindex, nofollow“ – schließt die Seite vollständig aus.
- all: Standardverhalten – entspricht „index, follow“.
Wichtig: Fehlt das Meta-Robots-Tag vollständig, interpretieren Suchmaschinen dies als „index, follow“. Eine explizite Angabe ist also nur dann zwingend erforderlich, wenn vom Standardverhalten abgewichen werden soll.
Abgrenzung zu robots.txt, Canonical Tag und Noindex-Header
Das Meta-Robots-Tag wird häufig mit der robots.txt verwechselt oder gleichgesetzt. Der entscheidende Unterschied: Die robots.txt steuert auf Server-Ebene, ob ein Crawler eine Seite überhaupt besuchen darf – sie verhindert das Crawling, aber nicht die Indexierung. Eine über robots.txt gesperrte URL kann trotzdem im Index erscheinen, wenn externe Links auf sie verweisen. Das Meta-Robots-Tag hingegen setzt voraus, dass die Seite gecrawlt wird – nur dann kann der Crawler die Direktive lesen und umsetzen.
Der Canonical Tag löst ein anderes Problem: Er signalisiert Google, welche URL als bevorzugte Version bei Duplicate Content behandelt werden soll, schließt aber keine Seite aktiv aus dem Index aus. Das X-Robots-Tag im HTTP-Response-Header ist das funktionale Äquivalent zum Meta-Robots-Tag, jedoch auf Server-Ebene – es eignet sich besonders für Nicht-HTML-Ressourcen wie PDFs oder Bilder, bei denen kein HTML-Head existiert.
Wer diese drei Mechanismen durcheinanderbringt, riskiert entweder ungewollte Indexierung sensibler Seiten oder – noch gefährlicher – das versehentliche Ausschließen wichtiger Inhalte aus dem Index. HEEY empfiehlt, im Rahmen eines technischen SEO-Audits alle drei Ebenen systematisch zu prüfen.
Relevanz für lokale Unternehmen im Rhein-Main-Gebiet
Für lokale Unternehmen in Wiesbaden, Frankfurt, Mainz oder Darmstadt ist das Meta-Robots-Tag besonders dann relevant, wenn ihre Website mehrere Seiten mit ähnlichem Inhalt enthält – etwa standortbezogene Landingpages, Filterergebnisse aus einem CMS oder interne Suchergebnisseiten. Werden diese Seiten versehentlich indexiert, konkurrieren sie mit den eigentlichen Zielseiten und schwächen deren Ranking.
Gleichzeitig sollten lokale Unternehmen darauf achten, dass ihre wichtigsten Seiten – Startseite, Leistungsseiten, geo-optimierung/regionale-landingpages/" class="text-magenta font-semibold hover:underline">regionale Landingpages und das Google-Business-Profil-Pendant auf der eigenen Website – explizit indexierbar bleiben. Eine falsch gesetzte noindex-Direktive auf der Hauptleistungsseite kann innerhalb weniger Wochen zu einem erheblichen Sichtbarkeitsverlust führen.
HEEY unterstützt Unternehmen aus dem Rhein-Main-Gebiet dabei, ihre On-Page-Struktur technisch sauber aufzusetzen – inklusive der korrekten Konfiguration aller Crawler-Direktiven auf Seiten- und Server-Ebene.
Praxis: So setzen Sie Meta Robots korrekt ein
In der Praxis empfiehlt es sich, Meta-Robots-Direktiven systematisch und nicht ad hoc zu vergeben. Folgende Seiten-Typen sollten in der Regel mit noindex versehen werden:
- Interne Suchergebnisseiten (z. B. /suche?q=…)
- Danke-Seiten nach Formularabsendungen
- Login- und Konto-Seiten
- Seiten mit gefilterten oder sortierten Produktlisten ohne eigenen informativen Mehrwert
- Staging- und Testumgebungen (hier kombiniert mit robots.txt-Sperre)
- Dünne Inhalte, die noch nicht veröffentlichungsreif sind
Technisch lässt sich das Tag in den meisten CMS-Systemen bequem über Plugins oder eingebaute SEO-Einstellungen setzen. In WordPress übernimmt das etwa Yoast SEO oder Rank Math; in Typo3 und anderen Enterprise-CMS gibt es entsprechende Konfigurationsoptionen. Wer die volle Kontrolle möchte, setzt das Tag direkt im Template-Code.
Nach Änderungen an Meta-Robots-Direktiven sollte die Wirkung zeitnah in der Google Search Console überprüft werden. Der URL-Prüfer zeigt an, ob eine Seite indexiert ist und welche Crawling-Informationen Google zuletzt gespeichert hat. Bei noindex-Direktiven kann es einige Tage bis Wochen dauern, bis die Seite vollständig aus dem Index entfernt wird.
Typische Fehler und Best Practices
Der schwerwiegendste Fehler im Umgang mit Meta Robots ist das versehentliche Setzen von noindex auf wichtigen Seiten – etwa durch einen unbeabsichtigt aktivierten Schalter im CMS während einer Entwicklungsphase, der nach dem Launch nicht zurückgesetzt wurde. Dieser Fehler ist in der Praxis erschreckend häufig und wird oft erst Wochen später bemerkt, wenn der organische Traffic einbricht.
- Widersprüchliche Signale vermeiden: Eine Seite gleichzeitig per robots.txt zu sperren und per Meta-Robots-Tag mit „noindex“ zu versehen ist redundant – und verhindert, dass Google die noindex-Direktive überhaupt lesen kann.
- Keine noindex-Direktive auf kanonikalisierte Seiten: Wenn eine Seite bereits per Canonical Tag auf eine andere verweist, ist ein zusätzliches noindex in der Regel unnötig und kann zu unerwünschten Signalkonflikten führen.
- Regelmäßige Audits: Meta-Robots-Einstellungen sollten bei jedem Website-Relaunch und nach größeren CMS-Updates systematisch überprüft werden.
- Direktiven dokumentieren: In größeren Projekten empfiehlt sich eine interne Crawling-Strategie-Dokumentation, die festlegt, welche Seiten-Typen welche Direktiven erhalten.
- X-Robots-Tag für PDFs und Bilder nutzen: Für Nicht-HTML-Ressourcen, die nicht indexiert werden sollen, ist das HTTP-Header-Äquivalent die einzig wirksame Option.
HEEY empfiehlt, Meta-Robots-Einstellungen als festen Bestandteil jedes technischen SEO-Audits zu behandeln – nicht als einmalige Konfiguration, sondern als kontinuierlich zu überwachenden Parameter.
Häufige Fragen
Was bewirkt das Meta-Robots-Tag „noindex“?
Die Direktive „noindex“ weist Suchmaschinen-Crawler an, die betreffende Seite nicht in den Suchindex aufzunehmen. Bereits indexierte Seiten werden beim nächsten Crawl aus dem Index entfernt. Der Prozess kann je nach Crawling-Frequenz einige Tage bis mehrere Wochen dauern.
Wie unterscheidet sich Meta Robots von der robots.txt?
Die robots.txt steuert auf Server-Ebene, ob ein Crawler eine Seite überhaupt besuchen darf – verhindert also das Crawling. Das Meta-Robots-Tag hingegen wird auf Seitenebene ausgelesen und steuert, ob eine bereits gecrawlte Seite indexiert wird. Eine über robots.txt gesperrte Seite kann das Meta-Robots-Tag gar nicht übermitteln, da der Crawler sie nicht besucht.
Wann sollte ich „noindex, follow“ statt „noindex, nofollow“ verwenden?
„noindex, follow“ empfiehlt sich, wenn eine Seite zwar nicht in den Suchergebnissen erscheinen soll, aber Links auf ihr weiterhin von Crawlern verfolgt und für die Linkjuice-Verteilung berücksichtigt werden sollen – etwa bei Danke-Seiten oder internen Weiterleitungsseiten. „noindex, nofollow“ hingegen schließt die Seite vollständig aus und verhindert zusätzlich die Weitergabe von Linksignalen.
Warum ist eine versehentliche noindex-Direktive so gefährlich für das Ranking?
Sobald Google eine „noindex“-Direktive erkennt und die Seite beim nächsten Crawl aus dem Index entfernt, verliert sie sämtliche organischen Rankings – unabhängig davon, wie viele Backlinks oder wie viel historisches Ranking-Kapital sie aufgebaut hat. Da der Sichtbarkeitsverlust oft erst mit Verzögerung in Analytics-Tools sichtbar wird, vergehen häufig Wochen, bis der Fehler erkannt und behoben ist.
Wie kann ich prüfen, ob das Meta-Robots-Tag korrekt gesetzt ist?
Der einfachste Weg ist der URL-Prüfer in der Google Search Console: Er zeigt an, ob eine Seite indexiert ist und welche Crawling-Informationen Google zuletzt erfasst hat. Alternativ lässt sich das Tag direkt im Quellcode der Seite unter dem <head>-Bereich prüfen oder über SEO-Crawling-Tools wie Screaming Frog automatisiert für die gesamte Website auswerten.
Gilt das Meta-Robots-Tag auch für Bing und andere Suchmaschinen?
Ja, der Wert name="robots" gilt für alle konformen Suchmaschinen-Crawler. Wer Direktiven nur für bestimmte Bots setzen möchte, kann stattdessen name="googlebot" oder name="bingbot" verwenden. Nicht alle Suchmaschinen unterstützen jedoch den vollen Umfang erweiterter Direktiven wie max-snippet oder max-image-preview – diese sind primär für Google spezifiziert.
Wir helfen Ihnen, in Google und Maps nach vorne zu kommen.