1. Was ist der Meta Robots Tag?
2. Index vs. Noindex: Welche Seiten sollen im Index landen?
3. Follow vs. Nofollow: Sollen Crawler den Links folgen?
4. Typische Meta Robots Kombinationen und deren SEO-Auswirkungen
5. Praxisbeispiele & Best Practices für den Einsatz von Noindex
6. Häufige Fehler und Irrtümer beim Einsatz des Meta Robots Tags
8. FAQ-Bereich zum Meta Robots Tag
Stell dir vor, du könntest Suchmaschinen genau sagen, welche Seiten deiner Website sie indexieren sollen und welche nicht. Genau das ermöglicht der Meta Robots Tag. Für jeden, der im SEO arbeitet – ob Einsteiger oder fortgeschrittener SEO-Manager – ist dieses kleine HTML-Tag ein mächtiges Werkzeug. Richtig eingesetzt hilft es, unnötige oder sensible Seiten aus den Suchergebnissen fernzuhalten und das Ranking-Potenzial deiner wichtigen Seiten zu schützen. Falsch angewendet kann es jedoch dazu führen, dass wertvolle Inhalte unsichtbar in Googles Tiefen verschwinden.
In diesem praxisnahen Ratgeber erklären wir dir verständlich, was der Meta Robots Tag ist, wie er funktioniert und wie du ihn gezielt für deine SEO-Strategie einsetzt. Wir beleuchten typische Anwendungsfälle, häufige Fehler und Irrtümer und geben Best Practices sowie Lösungen aus SEO-Sicht an die Hand. Egal ob du gerade erst mit SEO startest oder schon Erfahrung hast – hier findest du wertvolles Wissen und Tipps, um die Indexierung deiner Website optimal zu steuern. Los geht’s!
Der Meta Robots Tag (auch „Robots Meta-Tag“ genannt) ist ein HTML-Befehl, der im <head>-Bereich einer Seite platziert wird. Er teilt Suchmaschinen-Crawlern (wie Googlebot, Bingbot & Co.) mit, wie sie mit dieser spezifischen Seite umgehen sollen. Im Gegensatz zur robots.txt-Datei, die auf Domain-Ebene regelt, welche Bereiche einer Website gecrawlt werden dürfen, wirkt der Meta Robots Tag seitenindividuell. Er legt fest, ob eine einzelne Seite indexiert werden darf und ob den darauf befindlichen Links gefolgt werden soll.
So sieht ein Meta Robots Tag im Quellcode aus: <meta name="robots" content="noindex, follow" />. Mit solchen Anweisungen bestimmst du zum Beispiel, dass eine Seite nicht in den Suchindex aufgenommen wird (noindex), aber der Crawler dennoch allen Links darauf folgen darf (follow). Diese Feinsteuerung ist für SEOs enorm wichtig, um Indexierungsbudget sinnvoll zu nutzen und unerwünschte Inhalte aus den Suchergebnissen fernzuhalten.
Jede Seite im Google-Index sollte idealerweise hochwertigen, für Nutzer relevanten Content bieten. Seiten, die dort nichts zu suchen haben – etwa interne Suchresultate, Duplikate oder veraltete Inhalte – können dem Gesamtbild deiner Website schaden oder wichtige Ressourcen des Crawlers binden. Mit dem Meta Robots Tag behältst du die Kontrolle: Du entscheidest, welche Seiten Google & Co. zeigen dürfen und wohin sie weiter surfen sollen. Gerade für SEO-Manager und interne Marketer ist dieses Know-how Gold wert, um die Sichtbarkeit der Website gezielt zu steuern.
Kurz gesagt: Der Meta Robots Tag ist dein direkter „Draht“ zum Suchmaschinen-Crawler. Nutze ihn mit Bedacht – er kann über Ranking und Unsichtbarkeit einer Seite entscheiden.
Eine der Hauptfunktionen des Meta Robots Tags ist die Entscheidung Index oder Noindex. Diese Direktiven bestimmen, ob eine Seite in den Suchmaschinen-Index aufgenommen wird (Index) oder eben nicht (Noindex). Schauen wir uns beide Optionen im Detail an.
Die Direktive index signalisiert: „Diese Seite darf in den Suchergebnissen erscheinen.“ Standardmäßig gehen Suchmaschinen immer davon aus, dass deine Seite indexiert werden darf, wenn kein Meta Robots Tag vorhanden ist. Das heißt, wenn du gar nichts angibst, ist das Verhalten so, als stünde index dort. In der Praxis muss man index also selten explizit hinschreiben – es ist die Standardeinstellung.
Beispiel: Dein neu erstellter Blogpost mit hochwertigem Content soll natürlich gefunden werden. Du gibst keinen Meta Robots Tag an, also wird Google ihn indexieren (vorausgesetzt, die Seite ist crawlbar und es gibt keinen anderen entgegenwirkenden Faktor). Die Indexierung bedeutet, dass diese URL in den Suchindex aufgenommen wird und für relevante Suchanfragen erscheinen kann.
Mit noindex teilst du den Crawlern mit: „Diese Seite bitte nicht im Index aufnehmen.“ Sobald Google diese Anweisung beim Crawlen entdeckt, wird die Seite bei der nächsten Aktualisierung aus den Suchergebnissen entfernt bzw. gar nicht erst aufgenommen. Wichtig: Die Suchmaschine muss die Seite crawlen können, um den Noindex-Tag zu sehen. Nur dann kann sie der Anweisung folgen.
Merke: Noindex entfernt eine Seite hart aus dem Index, während ein Canonical-Tag (eines anderen SEO-Steuerungsinstruments) eher eine Empfehlung zur Indexierung einer anderen Seite ist. Google behandelt Canonicals als Hinweis, Noindex dagegen als direkte Anweisung. Wenn Canonical-Strategien versagen oder nicht ausreichen, kann Noindex als nächster Schritt dienen – aber immer mit Bedacht.
Die zweite wichtige Funktion des Meta Robots Tags betrifft das Verfolgen von Links. Hier stehen sich follow und nofollow gegenüber. Damit steuerst du, ob die Links auf einer Seite von Suchmaschinen-Crawlern weiter verfolgt und in deren Bewertung einbezogen werden sollen oder nicht.
Die Anweisung follow bedeutet: „Folgt allen Links auf dieser Seite.“ Das ist ebenfalls Standardverhalten für Crawler. Enthält eine Seite also keine anderslautende Anweisung, werden Google und andere Bots allen entdeckten Links folgen, die Seite dahinter crawlen (sofern erlaubt) und ggf. in den Index aufnehmen. follow muss daher im Code nicht ausdrücklich stehen – es wird automatisch angenommen.
SEO-Auswirkung: follow ermöglicht es, dass Linkjuice (also Ranking-Kraft durch Verlinkungen) weitergegeben wird. Interne Verlinkungen können so ihre positive Wirkung entfalten, und auch externe Links würde der Crawler besuchen (bei externen entscheidet allerdings der Linkgeber über rel="nofollow" Attribut, dazu gleich mehr). Kurz: Follow hält den Crawler-Fluss aufrecht. Eine Seite mit index, follow ist ein normaler Bestandteil des Web, voll in den Index eingebunden und verteilt ihre Linkkraft weiter.
Mit nofollow gibst du die Anweisung: „Folgt den Links auf dieser Seite nicht.“ Das heißt, der Crawler schaut sich zwar den Inhalt der Seite an, ignoriert aber sämtliche Links darauf – als wären sie Sackgassen. Diese Option wird eingesetzt, um gezielt Linkweitergabe zu unterbinden.
Ein paar wichtige Punkte zu nofollow:
Merke: Fehlt im Meta Robots Tag ein Hinweis zum Folgen, nehmen Crawler follow an. nofollow sollte gezielt und sparsam eingesetzt werden. Denk daran, dass noindex, nofollow zusammen eine Art Schwarzes Loch bildet: Die Seite verschwindet aus dem Index und der Crawler findet von dort aus keine weiteren Wege. Im Ergebnis vergeudest du Crawlressourcen. Daher setzen SEOs in der Regel eher noindex, follow – so bleibt die Seite zwar unsichtbar in der Suche, aber Links darauf werden weiterhin verfolgt (beispielsweise damit interne Verlinkungen zu noch indexierten Seiten nicht ins Leere laufen).
Die Meta Robots Anweisungen lassen sich kombinieren. Insgesamt gibt es vier mögliche Kombinationen, wobei zwei besonders relevant sind:
Wie erwähnt, ist dies das Verhalten ohne speziellen Tag. Diese Kombination brauchst du aktiv nur anzugeben, wenn du z.B. sicherstellen willst, dass ein zuvor anders konfigurierter Bereich wieder indexiert wird (etwa wenn du versehentlich mal Noindex gesetzt hattest und es korrigieren willst). Ansonsten kannst du es der Suchmaschine überlassen – sie indexiert und folgt standardmäßig.
Diese Einstellung nutzt man, wenn man eine Seite aus den Suchergebnissen fernhalten möchte, ohne den Fluss des Crawlers zu stören. Beispiele: Du hast eine interne „Danke“-Seite nach einer Formulareinsendung. Die Inhalte darauf sind für andere Nutzer nicht relevant, also soll sie nicht ranken (Noindex). Gleichzeitig enthält sie vielleicht einen Link zurück zur Startseite oder andere hilfreiche Links – diese dürfen gerne gecrawlt werden (Follow). Noindex, Follow ist Best Practice für die meisten Fälle, in denen man Seiten ausschließen will. So bleiben z.B. auch A/B-Test-Landingpages für Kampagnen oder interne Suchergebnisseiten aus dem Index draußen, leiten aber Linkkraft weiter.
Diese Kombination sagt: „Die Seite darf im Index sein, aber vertraue keinen Links darauf.“ Wann könnte das sinnvoll sein? Eigentlich kaum im normalen SEO-Alltag. Wenn du einer Seite so wenig vertraust, dass keiner ihrer Links zählen soll, möchtest du sie meist auch gar nicht indexiert haben. Ein denkbarer Fall: Eine öffentliche Seite mit einem riesigen Linkverzeichnis, das du nicht werten lassen willst (z.B. ein usergeneriertes Linklisting). Hier könntest du theoretisch index, nofollow setzen – die Seite selbst kann gefunden werden (wenn sie z.B. einen informativen Text enthält), aber alle aufgeführten Links darin gelten als „nicht empfohlen“. Trotzdem: Solche Szenarien sind selten. Meist nutzt man Nofollow direkt an einzelnen Links, nicht seitenweit.
Diese Einstellung schließt die Seite aus dem Index aus und stoppt die Linkverfolgung. Effektiv isolierst du damit die Seite komplett. Der Crawler kommt hin, sieht Noindex und Nofollow, nimmt nichts mit und geht wieder. Das ergibt nur in wenigen Edge-Cases Sinn – z.B. vielleicht für eine temporäre Testseite, von der du 100% sicher bist, dass keine Links darauf wichtig sind. In den meisten Fällen wäre aber selbst dann eine Absicherung per Passwort oder Disallow in robots.txt besser, anstatt Crawler überhaupt drauf zu lassen. Fazit: noindex, nofollow macht den Crawler blind und taub für diese Seite und alles darauf – setze das nur ein, wenn du genau weißt, was du tust.
Der gezielte Einsatz von Noindex kann deine SEO-Performance verbessern, indem er irrelevante oder problematische Seiten aus dem Suchindex fernhält. Hier sind einige praxisnahe Beispiele, wann du Seiten auf Noindex setzen solltest – und wann nicht:
Geeignete Seiten für Noindex: (“Diese Seiten möchte ich nicht in Google sehen”)
Seiten, bei denen kein Noindex gesetzt werden sollte: (“Diese Seiten sollen indexiert bleiben”)
Zusammengefasst: Noindex eignet sich hervorragend, um bestimmte Seitentypen (intern, dupliziert, unrelevant) aus den Suchergebnissen rauszuhalten. Aber überlege immer, ob es bessere Alternativen gibt (Canonical, Zugangsschutz, etc.) und ob du mit dem Ausschluss nicht versehentlich nützliche Inhalte versteckst. Jede Seite, die du auf Noindex setzt, sollte bewusst gewählt sein.
Trotz seiner einfachen Syntax kommt es in der Praxis oft zu Fehlern beim Einsatz des Meta Robots Tags. Diese Fehler können von harmlos bis katastrophal reichen. Hier sind die häufigsten Stolperfallen – jeweils mit Ursache, möglicher Auswirkung auf die SEO und der entsprechenden Lösung aus Sicht eines SEOs:
Dies sind nur einige häufige Fehler. Wichtig ist: Jedes Mal, wenn du den Meta Robots Tag einsetzt, frage dich warum und prüfe die Auswirkungen. Ein kleiner Tippfehler oder Denkfehler („Ups, die falsche Seite auf Noindex gesetzt!“) kann erhebliche Folgen haben. Im Zweifelsfall ziehe einen erfahrenen SEO hinzu oder teste Änderungen erst in kleinerem Umfang.
Interner Tipp: Nutze Tools wie Screaming Frog, SISTRIX Optimizer oder Ahrefs Crawler, um deine Website regelmäßig zu checken. Sie zeigen dir schnell, wo Meta-Robots-Anweisungen stehen und ob es z.B. Seiten mit Noindex gibt, die trotzdem in der Sitemap sind oder wichtige Seiten, die versehentlich auf Noindex/Nofollow gesetzt wurden. Auch die Google Search Console ist dein Freund: Im Indexierungsbericht erkennst du sofort, wenn URLs „Ausgeschlossen durch das noindex-Tag“ sind oder andere Indexierungsprobleme auftreten. So kannst du Fehler frühzeitig aufdecken und beheben.
Der Meta Robots Tag ist ein mächtiges Steuerungsinstrument im SEO, mit dem du für jede einzelne Seite festlegst, ob sie indexiert wird und wie Crawler mit ihr umgehen. Richtig eingesetzt, hilfst du Suchmaschinen, sich auf die wichtigen Seiten zu konzentrieren und vermeidest, dass irrelevante oder heikle Inhalte in den Suchergebnissen auftauchen. Zum Abschluss die wichtigsten Erkenntnisse und Tipps auf einen Blick:
Mit diesen Punkten im Hinterkopf bist du bestens gerüstet, den Meta Robots Tag effektiv und ohne böse Überraschungen einzusetzen. So behältst du die Kontrolle darüber, was Google von deiner Website zu sehen bekommt – ein essenzieller Erfolgsfaktor im SEO.
Handlungsaufforderung: Du bist unsicher, ob deine Website optimal indexiert wird oder vermutest Fehler im Einsatz von Meta Robots? Dann lass dich von unseren SEO-Experten unterstützen! Wir von panpan.digital helfen dir gerne mit einer unverbindlichen SEO-Beratung oder einem gründlichen SEO-Audit, um technische Stellschrauben wie den Meta Robots Tag richtig zu justieren. Nimm jetzt Kontakt mit uns auf und hol dir professionelle Unterstützung für deine SEO-Strategie – damit kein wichtiger Inhalt im Verborgenen bleibt!
[Lesetipp zum Abschluss]: Möchtest du mehr technische SEO-Tipps? Schau in unseren Ratgeber-Bereich vorbei! Zum Beispiel erklärt unser Artikel „404-Fehler und SEO: Dein umfassender Ratgeber“ wie du mit nicht gefundenen Seiten umgehst und welche Auswirkungen sie auf die Indexierung haben. Viel Spaß beim Weiterlesen und Optimieren!
Der Meta Robots Tag ist ein wichtiger HTML-Code auf jeder HTML-Seite, der Suchmaschinen Bots (auch Web Crawler genannt) Anweisungen auf Seitenebene gibt. Durch die Verwendung spezieller Werte im sogenannten Content Attribut kannst du bestimmen, ob deine Webseite im Internet indexiert wird oder ob der Crawler Links folgen darf. Ohne den Meta Robots Tag gehen Suchmaschinen standardmäßig davon aus, dass Seiten indexiert („index“) und Links verfolgt („follow“) werden sollen.
Du platzierst den Meta Robots Tag im HTML-<head>-Bereich deiner Seite, meist zusammen mit anderen Meta-Tags. Zum Beispiel: <meta name="robots" content="noindex, follow">. Viele Content-Management-Systeme (CMS) oder SEO-Plugins bieten dafür Einstellungen, sodass du nicht manuell im Code arbeiten musst. Wichtig ist, dass pro Seite nur einmal name="robots" vorkommt. Du kannst alternativ auch suchmaschinenspezifische Tags setzen (z.B. <meta name="googlebot" content="...">), aber in der Regel reicht der allgemeine „robots“-Tag für alle gängigen Suchmaschinen.
Der Meta Robots Tag steuert Indexierung und Linkverfolgung explizit auf der jeweiligen HTML-Seite. Die robots.txt hingegen regelt bereits vorab den Zugang zu einzelnen Unterseiten oder Verzeichnissen deiner Website für Suchmaschinen Bots. Beide Methoden arbeiten auf unterschiedliche Art zusammen, um Inhalte vor unerwünschter Indexierung zu schützen oder die Ressourcen des Crawlers effizienter zu nutzen.
Es gibt verschiedene Methoden: Eine direkte Kontrolle der HTML-Seite über den Seitenquelltext, SEO-Tools oder Browser-Plugins. Besonders einfach geht es mit der Google Search Console. Hier findest du alle relevanten Informationen, ob eine Seite korrekt von den Suchmaschinen Bots interpretiert wurde, beispielsweise ob ein noindex-Tag erkannt wurde und ob es Auswirkungen auf dein Ranking gibt.
Die Entfernung einer Noindex-Seite aus den Suchergebnissen hängt von der Crawl-Frequenz der Web Crawler ab und erfolgt nicht sofort. In der Regel dauert dies zwischen einigen Tagen bis zu mehreren Wochen. Für eine sofortige Entfernung bietet Google in der Search Console ergänzende Methoden (z.B. das URL-Entfernungstool). Hier erfolgt die Eingabe der URL direkt, was die Entfernung beschleunigt.
Im Zweifel: Noindex. Denn Noindex stellt sicher, dass die Seite (sobald gecrawlt) aus dem Index fernbleibt. Eine reine Sperre in der robots.txt verhindert zwar das Crawling, aber nicht zwangsläufig die Indexierung – Google könnte die URL trotzdem indexieren, wenn externe Links darauf zeigen, allerdings ohne Inhalt (was dann unschön in den Ergebnissen aussieht). Die beste Vorgehensweise, wie oben beschrieben: erst Noindex, später optional Disallow, falls wirklich nötig. Für Seiten mit sensiblen Daten oder absolut ohne Relevanz, die du gar nie gecrawlt haben möchtest (z.B. Admin-Logins), kannst du direkt robots.txt Disallow setzen und zusätzlich besser durch Passwort/IP-Schutz sichern. Noindex ist hier nicht notwendig, da Google idealerweise gar nichts von der Seite wissen soll.
Ja, der Meta Robots Tag kann noch weitere Parameter enthalten, um das Suchergebnis-Verhalten zu steuern. Einige Beispiele:
Diese zusätzlichen Anweisungen sind eher optional und betreffen die Darstellung in der Suche oder Spezialfälle. Für die grundlegende Indexierungssteuerung sind hauptsächlich index/noindex und follow/nofollow entscheidend. Erwähnenswert ist noch die X-Robots-Tag-HTTP-Header-Variante: Damit kann man ähnliche Anweisungen im HTTP-Header einer Antwort schicken (praktisch z.B. für PDF-Dateien oder andere Non-HTML-Dokumente, wo man kein Meta-Tag im Code unterbringen kann). Für normale Webseiten reicht jedoch der Meta Robots Tag im HTML.
Eine Seite, die auf Noindex steht, kann selbst kein Ranking erzielen, weil sie ja nicht im Index ist. Das wirkt sich aber nicht negativ auf deine anderen, indexierten Seiten aus – es ist also nicht so, dass Google dich „bestraft“, nur weil du viele Noindex-Seiten hast. John Müller von Google hat bestätigt, dass Noindex-Seiten per se nicht schaden. Sie verbrauchen allerdings ein wenig Crawl-Budget, da Google sie trotzdem von Zeit zu Zeit überprüfen muss. Wenn sehr viele unwichtige Seiten gecrawlt werden, könnte das in Extremfällen heißen, dass wichtigere Seiten seltener besucht werden. Daher: Unnötige Seiten komplett entfernen oder Crawling reduzieren (z.B. durch Disallow), anstatt Unmengen an Noindex-Seiten liegen zu lassen. Aber keine Panik – ein gewisses Maß an Noindex (z.B. für typische unwichtige Seiten) ist völlig normal und Teil einer gesunden SEO-Hygiene.
Grundsätzlich: Nein, wenn Google den Noindex-Tag lesen kann, wird die Seite nicht in den Suchergebnissen angezeigt. Es gibt jedoch Sonderfälle: Wenn du z.B. eine Seite via robots.txt disallowst, sieht Google den Noindex nicht und könnte die URL trotzdem ins Indexverzeichnis aufnehmen (ohne Inhalt). Oder wenn externe Seiten auf deine Noindex-Seite verlinken und du diese Seite später komplett entfernst, kann Google noch eine Zeit lang einen Eintrag anzeigen (meist als leeres Ergebnis oder Fehler). Aber eine Seite, die aktiv mit <meta name="robots" content="noindex"> gekennzeichnet und für Google zugänglich ist, bleibt unsichtbar in der Suche. Achte nur darauf, dass der Tag korrekt geschrieben ist (Tippfehler wie noindes oder falsche Anführungszeichen können ihn unwirksam machen).
Für interne Links in der Regel nein – intern willst du ja, dass Google deine gesamte Seite durchforstet. Für ausgehende (externe) Links kommt es drauf an: Wenn du auf eine Seite verweist, der du vertraust und die für den Nutzer hilfreich ist, dann lass ihn follow (das ist ein „echter“ Empfehlung von dir). Hast du jedoch einen Link, der z.B. bezahlt ist (Werbung, Affiliate) oder zu einer Quelle führt, von der du dich distanzieren möchtest, dann setz rel="nofollow" auf diesen Link. So fließt kein PageRank und du hältst dich an Googles Richtlinien für bezahlte/vertrauensunwürdige Links. Beachte: Es gibt auch rel="ugc" (User Generated Content) und rel="sponsored" als spezielle Formen, die Google eingeführt hat – sie werden aber ähnlich wie Nofollow behandelt (Hinweis für Google). Das Meta Robots nofollow als Seiteneinstellung brauchst du eher selten, wie oben beschrieben. Konzentriere dich bei externen Links auf die einzelne Link-Ebene und entscheide je nach Fall.
Bonus-Tipp: Hast du mehr Fragen zur Indexierung oder anderen SEO-Themen? In unserem SEO-Ratgeber-Bereich findest du weitere hilfreiche Artikel. Und wenn dein spezielles Anliegen hier nicht beantwortet wurde, zögere nicht uns direkt zu kontaktieren – wir helfen dir gerne weiter, damit deine Website im Suchindex ganz vorne mitspielt!
1. Was ist der Meta Robots Tag?
2. Index vs. Noindex: Welche Seiten sollen im Index landen?
3. Follow vs. Nofollow: Sollen Crawler den Links folgen?
4. Typische Meta Robots Kombinationen und deren SEO-Auswirkungen
5. Praxisbeispiele & Best Practices für den Einsatz von Noindex
6. Häufige Fehler und Irrtümer beim Einsatz des Meta Robots Tags
8. FAQ-Bereich zum Meta Robots Tag
Stell dir vor, du könntest Suchmaschinen genau sagen, welche Seiten deiner Website sie indexieren sollen und welche nicht. Genau das ermöglicht der Meta Robots Tag. Für jeden, der im SEO arbeitet – ob Einsteiger oder fortgeschrittener SEO-Manager – ist dieses kleine HTML-Tag ein mächtiges Werkzeug. Richtig eingesetzt hilft es, unnötige oder sensible Seiten aus den Suchergebnissen fernzuhalten und das Ranking-Potenzial deiner wichtigen Seiten zu schützen. Falsch angewendet kann es jedoch dazu führen, dass wertvolle Inhalte unsichtbar in Googles Tiefen verschwinden.
In diesem praxisnahen Ratgeber erklären wir dir verständlich, was der Meta Robots Tag ist, wie er funktioniert und wie du ihn gezielt für deine SEO-Strategie einsetzt. Wir beleuchten typische Anwendungsfälle, häufige Fehler und Irrtümer und geben Best Practices sowie Lösungen aus SEO-Sicht an die Hand. Egal ob du gerade erst mit SEO startest oder schon Erfahrung hast – hier findest du wertvolles Wissen und Tipps, um die Indexierung deiner Website optimal zu steuern. Los geht’s!
Der Meta Robots Tag (auch „Robots Meta-Tag“ genannt) ist ein HTML-Befehl, der im <head>-Bereich einer Seite platziert wird. Er teilt Suchmaschinen-Crawlern (wie Googlebot, Bingbot & Co.) mit, wie sie mit dieser spezifischen Seite umgehen sollen. Im Gegensatz zur robots.txt-Datei, die auf Domain-Ebene regelt, welche Bereiche einer Website gecrawlt werden dürfen, wirkt der Meta Robots Tag seitenindividuell. Er legt fest, ob eine einzelne Seite indexiert werden darf und ob den darauf befindlichen Links gefolgt werden soll.
So sieht ein Meta Robots Tag im Quellcode aus: <meta name="robots" content="noindex, follow" />. Mit solchen Anweisungen bestimmst du zum Beispiel, dass eine Seite nicht in den Suchindex aufgenommen wird (noindex), aber der Crawler dennoch allen Links darauf folgen darf (follow). Diese Feinsteuerung ist für SEOs enorm wichtig, um Indexierungsbudget sinnvoll zu nutzen und unerwünschte Inhalte aus den Suchergebnissen fernzuhalten.
Jede Seite im Google-Index sollte idealerweise hochwertigen, für Nutzer relevanten Content bieten. Seiten, die dort nichts zu suchen haben – etwa interne Suchresultate, Duplikate oder veraltete Inhalte – können dem Gesamtbild deiner Website schaden oder wichtige Ressourcen des Crawlers binden. Mit dem Meta Robots Tag behältst du die Kontrolle: Du entscheidest, welche Seiten Google & Co. zeigen dürfen und wohin sie weiter surfen sollen. Gerade für SEO-Manager und interne Marketer ist dieses Know-how Gold wert, um die Sichtbarkeit der Website gezielt zu steuern.
Kurz gesagt: Der Meta Robots Tag ist dein direkter „Draht“ zum Suchmaschinen-Crawler. Nutze ihn mit Bedacht – er kann über Ranking und Unsichtbarkeit einer Seite entscheiden.
Eine der Hauptfunktionen des Meta Robots Tags ist die Entscheidung Index oder Noindex. Diese Direktiven bestimmen, ob eine Seite in den Suchmaschinen-Index aufgenommen wird (Index) oder eben nicht (Noindex). Schauen wir uns beide Optionen im Detail an.
Die Direktive index signalisiert: „Diese Seite darf in den Suchergebnissen erscheinen.“ Standardmäßig gehen Suchmaschinen immer davon aus, dass deine Seite indexiert werden darf, wenn kein Meta Robots Tag vorhanden ist. Das heißt, wenn du gar nichts angibst, ist das Verhalten so, als stünde index dort. In der Praxis muss man index also selten explizit hinschreiben – es ist die Standardeinstellung.
Beispiel: Dein neu erstellter Blogpost mit hochwertigem Content soll natürlich gefunden werden. Du gibst keinen Meta Robots Tag an, also wird Google ihn indexieren (vorausgesetzt, die Seite ist crawlbar und es gibt keinen anderen entgegenwirkenden Faktor). Die Indexierung bedeutet, dass diese URL in den Suchindex aufgenommen wird und für relevante Suchanfragen erscheinen kann.
Mit noindex teilst du den Crawlern mit: „Diese Seite bitte nicht im Index aufnehmen.“ Sobald Google diese Anweisung beim Crawlen entdeckt, wird die Seite bei der nächsten Aktualisierung aus den Suchergebnissen entfernt bzw. gar nicht erst aufgenommen. Wichtig: Die Suchmaschine muss die Seite crawlen können, um den Noindex-Tag zu sehen. Nur dann kann sie der Anweisung folgen.
Merke: Noindex entfernt eine Seite hart aus dem Index, während ein Canonical-Tag (eines anderen SEO-Steuerungsinstruments) eher eine Empfehlung zur Indexierung einer anderen Seite ist. Google behandelt Canonicals als Hinweis, Noindex dagegen als direkte Anweisung. Wenn Canonical-Strategien versagen oder nicht ausreichen, kann Noindex als nächster Schritt dienen – aber immer mit Bedacht.
Die zweite wichtige Funktion des Meta Robots Tags betrifft das Verfolgen von Links. Hier stehen sich follow und nofollow gegenüber. Damit steuerst du, ob die Links auf einer Seite von Suchmaschinen-Crawlern weiter verfolgt und in deren Bewertung einbezogen werden sollen oder nicht.
Die Anweisung follow bedeutet: „Folgt allen Links auf dieser Seite.“ Das ist ebenfalls Standardverhalten für Crawler. Enthält eine Seite also keine anderslautende Anweisung, werden Google und andere Bots allen entdeckten Links folgen, die Seite dahinter crawlen (sofern erlaubt) und ggf. in den Index aufnehmen. follow muss daher im Code nicht ausdrücklich stehen – es wird automatisch angenommen.
SEO-Auswirkung: follow ermöglicht es, dass Linkjuice (also Ranking-Kraft durch Verlinkungen) weitergegeben wird. Interne Verlinkungen können so ihre positive Wirkung entfalten, und auch externe Links würde der Crawler besuchen (bei externen entscheidet allerdings der Linkgeber über rel="nofollow" Attribut, dazu gleich mehr). Kurz: Follow hält den Crawler-Fluss aufrecht. Eine Seite mit index, follow ist ein normaler Bestandteil des Web, voll in den Index eingebunden und verteilt ihre Linkkraft weiter.
Mit nofollow gibst du die Anweisung: „Folgt den Links auf dieser Seite nicht.“ Das heißt, der Crawler schaut sich zwar den Inhalt der Seite an, ignoriert aber sämtliche Links darauf – als wären sie Sackgassen. Diese Option wird eingesetzt, um gezielt Linkweitergabe zu unterbinden.
Ein paar wichtige Punkte zu nofollow:
Merke: Fehlt im Meta Robots Tag ein Hinweis zum Folgen, nehmen Crawler follow an. nofollow sollte gezielt und sparsam eingesetzt werden. Denk daran, dass noindex, nofollow zusammen eine Art Schwarzes Loch bildet: Die Seite verschwindet aus dem Index und der Crawler findet von dort aus keine weiteren Wege. Im Ergebnis vergeudest du Crawlressourcen. Daher setzen SEOs in der Regel eher noindex, follow – so bleibt die Seite zwar unsichtbar in der Suche, aber Links darauf werden weiterhin verfolgt (beispielsweise damit interne Verlinkungen zu noch indexierten Seiten nicht ins Leere laufen).
Die Meta Robots Anweisungen lassen sich kombinieren. Insgesamt gibt es vier mögliche Kombinationen, wobei zwei besonders relevant sind:
Wie erwähnt, ist dies das Verhalten ohne speziellen Tag. Diese Kombination brauchst du aktiv nur anzugeben, wenn du z.B. sicherstellen willst, dass ein zuvor anders konfigurierter Bereich wieder indexiert wird (etwa wenn du versehentlich mal Noindex gesetzt hattest und es korrigieren willst). Ansonsten kannst du es der Suchmaschine überlassen – sie indexiert und folgt standardmäßig.
Diese Einstellung nutzt man, wenn man eine Seite aus den Suchergebnissen fernhalten möchte, ohne den Fluss des Crawlers zu stören. Beispiele: Du hast eine interne „Danke“-Seite nach einer Formulareinsendung. Die Inhalte darauf sind für andere Nutzer nicht relevant, also soll sie nicht ranken (Noindex). Gleichzeitig enthält sie vielleicht einen Link zurück zur Startseite oder andere hilfreiche Links – diese dürfen gerne gecrawlt werden (Follow). Noindex, Follow ist Best Practice für die meisten Fälle, in denen man Seiten ausschließen will. So bleiben z.B. auch A/B-Test-Landingpages für Kampagnen oder interne Suchergebnisseiten aus dem Index draußen, leiten aber Linkkraft weiter.
Diese Kombination sagt: „Die Seite darf im Index sein, aber vertraue keinen Links darauf.“ Wann könnte das sinnvoll sein? Eigentlich kaum im normalen SEO-Alltag. Wenn du einer Seite so wenig vertraust, dass keiner ihrer Links zählen soll, möchtest du sie meist auch gar nicht indexiert haben. Ein denkbarer Fall: Eine öffentliche Seite mit einem riesigen Linkverzeichnis, das du nicht werten lassen willst (z.B. ein usergeneriertes Linklisting). Hier könntest du theoretisch index, nofollow setzen – die Seite selbst kann gefunden werden (wenn sie z.B. einen informativen Text enthält), aber alle aufgeführten Links darin gelten als „nicht empfohlen“. Trotzdem: Solche Szenarien sind selten. Meist nutzt man Nofollow direkt an einzelnen Links, nicht seitenweit.
Diese Einstellung schließt die Seite aus dem Index aus und stoppt die Linkverfolgung. Effektiv isolierst du damit die Seite komplett. Der Crawler kommt hin, sieht Noindex und Nofollow, nimmt nichts mit und geht wieder. Das ergibt nur in wenigen Edge-Cases Sinn – z.B. vielleicht für eine temporäre Testseite, von der du 100% sicher bist, dass keine Links darauf wichtig sind. In den meisten Fällen wäre aber selbst dann eine Absicherung per Passwort oder Disallow in robots.txt besser, anstatt Crawler überhaupt drauf zu lassen. Fazit: noindex, nofollow macht den Crawler blind und taub für diese Seite und alles darauf – setze das nur ein, wenn du genau weißt, was du tust.
Der gezielte Einsatz von Noindex kann deine SEO-Performance verbessern, indem er irrelevante oder problematische Seiten aus dem Suchindex fernhält. Hier sind einige praxisnahe Beispiele, wann du Seiten auf Noindex setzen solltest – und wann nicht:
Geeignete Seiten für Noindex: (“Diese Seiten möchte ich nicht in Google sehen”)
Seiten, bei denen kein Noindex gesetzt werden sollte: (“Diese Seiten sollen indexiert bleiben”)
Zusammengefasst: Noindex eignet sich hervorragend, um bestimmte Seitentypen (intern, dupliziert, unrelevant) aus den Suchergebnissen rauszuhalten. Aber überlege immer, ob es bessere Alternativen gibt (Canonical, Zugangsschutz, etc.) und ob du mit dem Ausschluss nicht versehentlich nützliche Inhalte versteckst. Jede Seite, die du auf Noindex setzt, sollte bewusst gewählt sein.
Trotz seiner einfachen Syntax kommt es in der Praxis oft zu Fehlern beim Einsatz des Meta Robots Tags. Diese Fehler können von harmlos bis katastrophal reichen. Hier sind die häufigsten Stolperfallen – jeweils mit Ursache, möglicher Auswirkung auf die SEO und der entsprechenden Lösung aus Sicht eines SEOs:
Dies sind nur einige häufige Fehler. Wichtig ist: Jedes Mal, wenn du den Meta Robots Tag einsetzt, frage dich warum und prüfe die Auswirkungen. Ein kleiner Tippfehler oder Denkfehler („Ups, die falsche Seite auf Noindex gesetzt!“) kann erhebliche Folgen haben. Im Zweifelsfall ziehe einen erfahrenen SEO hinzu oder teste Änderungen erst in kleinerem Umfang.
Interner Tipp: Nutze Tools wie Screaming Frog, SISTRIX Optimizer oder Ahrefs Crawler, um deine Website regelmäßig zu checken. Sie zeigen dir schnell, wo Meta-Robots-Anweisungen stehen und ob es z.B. Seiten mit Noindex gibt, die trotzdem in der Sitemap sind oder wichtige Seiten, die versehentlich auf Noindex/Nofollow gesetzt wurden. Auch die Google Search Console ist dein Freund: Im Indexierungsbericht erkennst du sofort, wenn URLs „Ausgeschlossen durch das noindex-Tag“ sind oder andere Indexierungsprobleme auftreten. So kannst du Fehler frühzeitig aufdecken und beheben.
Der Meta Robots Tag ist ein mächtiges Steuerungsinstrument im SEO, mit dem du für jede einzelne Seite festlegst, ob sie indexiert wird und wie Crawler mit ihr umgehen. Richtig eingesetzt, hilfst du Suchmaschinen, sich auf die wichtigen Seiten zu konzentrieren und vermeidest, dass irrelevante oder heikle Inhalte in den Suchergebnissen auftauchen. Zum Abschluss die wichtigsten Erkenntnisse und Tipps auf einen Blick:
Mit diesen Punkten im Hinterkopf bist du bestens gerüstet, den Meta Robots Tag effektiv und ohne böse Überraschungen einzusetzen. So behältst du die Kontrolle darüber, was Google von deiner Website zu sehen bekommt – ein essenzieller Erfolgsfaktor im SEO.
Handlungsaufforderung: Du bist unsicher, ob deine Website optimal indexiert wird oder vermutest Fehler im Einsatz von Meta Robots? Dann lass dich von unseren SEO-Experten unterstützen! Wir von panpan.digital helfen dir gerne mit einer unverbindlichen SEO-Beratung oder einem gründlichen SEO-Audit, um technische Stellschrauben wie den Meta Robots Tag richtig zu justieren. Nimm jetzt Kontakt mit uns auf und hol dir professionelle Unterstützung für deine SEO-Strategie – damit kein wichtiger Inhalt im Verborgenen bleibt!
[Lesetipp zum Abschluss]: Möchtest du mehr technische SEO-Tipps? Schau in unseren Ratgeber-Bereich vorbei! Zum Beispiel erklärt unser Artikel „404-Fehler und SEO: Dein umfassender Ratgeber“ wie du mit nicht gefundenen Seiten umgehst und welche Auswirkungen sie auf die Indexierung haben. Viel Spaß beim Weiterlesen und Optimieren!
Der Meta Robots Tag ist ein wichtiger HTML-Code auf jeder HTML-Seite, der Suchmaschinen Bots (auch Web Crawler genannt) Anweisungen auf Seitenebene gibt. Durch die Verwendung spezieller Werte im sogenannten Content Attribut kannst du bestimmen, ob deine Webseite im Internet indexiert wird oder ob der Crawler Links folgen darf. Ohne den Meta Robots Tag gehen Suchmaschinen standardmäßig davon aus, dass Seiten indexiert („index“) und Links verfolgt („follow“) werden sollen.
Du platzierst den Meta Robots Tag im HTML-<head>-Bereich deiner Seite, meist zusammen mit anderen Meta-Tags. Zum Beispiel: <meta name="robots" content="noindex, follow">. Viele Content-Management-Systeme (CMS) oder SEO-Plugins bieten dafür Einstellungen, sodass du nicht manuell im Code arbeiten musst. Wichtig ist, dass pro Seite nur einmal name="robots" vorkommt. Du kannst alternativ auch suchmaschinenspezifische Tags setzen (z.B. <meta name="googlebot" content="...">), aber in der Regel reicht der allgemeine „robots“-Tag für alle gängigen Suchmaschinen.
Der Meta Robots Tag steuert Indexierung und Linkverfolgung explizit auf der jeweiligen HTML-Seite. Die robots.txt hingegen regelt bereits vorab den Zugang zu einzelnen Unterseiten oder Verzeichnissen deiner Website für Suchmaschinen Bots. Beide Methoden arbeiten auf unterschiedliche Art zusammen, um Inhalte vor unerwünschter Indexierung zu schützen oder die Ressourcen des Crawlers effizienter zu nutzen.
Es gibt verschiedene Methoden: Eine direkte Kontrolle der HTML-Seite über den Seitenquelltext, SEO-Tools oder Browser-Plugins. Besonders einfach geht es mit der Google Search Console. Hier findest du alle relevanten Informationen, ob eine Seite korrekt von den Suchmaschinen Bots interpretiert wurde, beispielsweise ob ein noindex-Tag erkannt wurde und ob es Auswirkungen auf dein Ranking gibt.
Die Entfernung einer Noindex-Seite aus den Suchergebnissen hängt von der Crawl-Frequenz der Web Crawler ab und erfolgt nicht sofort. In der Regel dauert dies zwischen einigen Tagen bis zu mehreren Wochen. Für eine sofortige Entfernung bietet Google in der Search Console ergänzende Methoden (z.B. das URL-Entfernungstool). Hier erfolgt die Eingabe der URL direkt, was die Entfernung beschleunigt.
Im Zweifel: Noindex. Denn Noindex stellt sicher, dass die Seite (sobald gecrawlt) aus dem Index fernbleibt. Eine reine Sperre in der robots.txt verhindert zwar das Crawling, aber nicht zwangsläufig die Indexierung – Google könnte die URL trotzdem indexieren, wenn externe Links darauf zeigen, allerdings ohne Inhalt (was dann unschön in den Ergebnissen aussieht). Die beste Vorgehensweise, wie oben beschrieben: erst Noindex, später optional Disallow, falls wirklich nötig. Für Seiten mit sensiblen Daten oder absolut ohne Relevanz, die du gar nie gecrawlt haben möchtest (z.B. Admin-Logins), kannst du direkt robots.txt Disallow setzen und zusätzlich besser durch Passwort/IP-Schutz sichern. Noindex ist hier nicht notwendig, da Google idealerweise gar nichts von der Seite wissen soll.
Ja, der Meta Robots Tag kann noch weitere Parameter enthalten, um das Suchergebnis-Verhalten zu steuern. Einige Beispiele:
Diese zusätzlichen Anweisungen sind eher optional und betreffen die Darstellung in der Suche oder Spezialfälle. Für die grundlegende Indexierungssteuerung sind hauptsächlich index/noindex und follow/nofollow entscheidend. Erwähnenswert ist noch die X-Robots-Tag-HTTP-Header-Variante: Damit kann man ähnliche Anweisungen im HTTP-Header einer Antwort schicken (praktisch z.B. für PDF-Dateien oder andere Non-HTML-Dokumente, wo man kein Meta-Tag im Code unterbringen kann). Für normale Webseiten reicht jedoch der Meta Robots Tag im HTML.
Eine Seite, die auf Noindex steht, kann selbst kein Ranking erzielen, weil sie ja nicht im Index ist. Das wirkt sich aber nicht negativ auf deine anderen, indexierten Seiten aus – es ist also nicht so, dass Google dich „bestraft“, nur weil du viele Noindex-Seiten hast. John Müller von Google hat bestätigt, dass Noindex-Seiten per se nicht schaden. Sie verbrauchen allerdings ein wenig Crawl-Budget, da Google sie trotzdem von Zeit zu Zeit überprüfen muss. Wenn sehr viele unwichtige Seiten gecrawlt werden, könnte das in Extremfällen heißen, dass wichtigere Seiten seltener besucht werden. Daher: Unnötige Seiten komplett entfernen oder Crawling reduzieren (z.B. durch Disallow), anstatt Unmengen an Noindex-Seiten liegen zu lassen. Aber keine Panik – ein gewisses Maß an Noindex (z.B. für typische unwichtige Seiten) ist völlig normal und Teil einer gesunden SEO-Hygiene.
Grundsätzlich: Nein, wenn Google den Noindex-Tag lesen kann, wird die Seite nicht in den Suchergebnissen angezeigt. Es gibt jedoch Sonderfälle: Wenn du z.B. eine Seite via robots.txt disallowst, sieht Google den Noindex nicht und könnte die URL trotzdem ins Indexverzeichnis aufnehmen (ohne Inhalt). Oder wenn externe Seiten auf deine Noindex-Seite verlinken und du diese Seite später komplett entfernst, kann Google noch eine Zeit lang einen Eintrag anzeigen (meist als leeres Ergebnis oder Fehler). Aber eine Seite, die aktiv mit <meta name="robots" content="noindex"> gekennzeichnet und für Google zugänglich ist, bleibt unsichtbar in der Suche. Achte nur darauf, dass der Tag korrekt geschrieben ist (Tippfehler wie noindes oder falsche Anführungszeichen können ihn unwirksam machen).
Für interne Links in der Regel nein – intern willst du ja, dass Google deine gesamte Seite durchforstet. Für ausgehende (externe) Links kommt es drauf an: Wenn du auf eine Seite verweist, der du vertraust und die für den Nutzer hilfreich ist, dann lass ihn follow (das ist ein „echter“ Empfehlung von dir). Hast du jedoch einen Link, der z.B. bezahlt ist (Werbung, Affiliate) oder zu einer Quelle führt, von der du dich distanzieren möchtest, dann setz rel="nofollow" auf diesen Link. So fließt kein PageRank und du hältst dich an Googles Richtlinien für bezahlte/vertrauensunwürdige Links. Beachte: Es gibt auch rel="ugc" (User Generated Content) und rel="sponsored" als spezielle Formen, die Google eingeführt hat – sie werden aber ähnlich wie Nofollow behandelt (Hinweis für Google). Das Meta Robots nofollow als Seiteneinstellung brauchst du eher selten, wie oben beschrieben. Konzentriere dich bei externen Links auf die einzelne Link-Ebene und entscheide je nach Fall.
Bonus-Tipp: Hast du mehr Fragen zur Indexierung oder anderen SEO-Themen? In unserem SEO-Ratgeber-Bereich findest du weitere hilfreiche Artikel. Und wenn dein spezielles Anliegen hier nicht beantwortet wurde, zögere nicht uns direkt zu kontaktieren – wir helfen dir gerne weiter, damit deine Website im Suchindex ganz vorne mitspielt!
