SEO-Deindexierung: Wann und wie man eine Seite aus den Google-Ergebnissen entfernt
Wenn von Suchmaschinenoptimierung (SEO) die Rede ist, wird die Indexierung der Seiten durch Google oft als absolute Notwendigkeit wahrgenommen, um an Sichtbarkeit zu gewinnen. Dennoch verdienen es nicht unbedingt alle Seiten einer Website, indexiert zu werden. Manche können dem Gesamtranking Ihrer Website sogar schaden, wenn sie von den Suchmaschinen durchsucht und berücksichtigt werden.
Genau hier kommt die Deindexierung ins Spiel, eine strategische Maßnahme, mit der man verhindern kann, dass bestimmte Seiten in den Suchergebnissen erscheinen. Ob es darum geht, doppelte Inhalte zu vermeiden, veraltete Seiten zu entfernen oder das Crawl-Budget zu optimieren – zu wissen, wann und wie man eine Seite deindexiert, ist eine Schlüsselkompetenz in der SEO.
Wann sollte man eine Webseite deindexieren?
Die Indexierung einer Website durch Google ist entscheidend, um ihre Sichtbarkeit in den Suchergebnissen zu gewährleisten. Dennoch verdienen es nicht alle Seiten, gelistet zu werden, und manche können dem Gesamtranking der Website sogar schaden. Eine Seite zu deindexieren wird dann zu einer Notwendigkeit, um eine wirksame SEO-Strategie aufrechtzuerhalten. Doch in welchen Fällen sollte man diese Maßnahme wirklich ergreifen?
Die Entwicklung der Indexierungskriterien von Google
Früher bestand das Ziel der SEO-Fachleute darin, möglichst viele Seiten zu indexieren, um die Präsenz einer Website bei Google zu maximieren. Dieser Ansatz trug lange Zeit Früchte, doch er ist mit der Weiterentwicklung der Suchmaschinen-Algorithmen überholt.
Seit dem Update Google Panda im Jahr 2011 bevorzugt Google nun die Qualität der Inhalte statt der Quantität. Eine Website mit zu vielen wenig relevanten Seiten läuft Gefahr, dass ihr Gesamtranking beeinträchtigt wird. Die Robots von Google analysieren nicht nur die Relevanz der Inhalte, sondern auch das Engagement der Nutzer: Eine hohe Absprungrate oder eine geringe Verweildauer auf einer Seite sind ebenso Signale, die auf einen Mangel an Mehrwert hindeuten.
Zudem wird Google mit dem Aufstieg der künstlichen Intelligenz und der Vervielfachung der Online-Inhalte bei der Indexierung der Seiten immer selektiver. Es ist daher entscheidend, seine Website zu optimieren und darauf zu achten, dass nur die wirklich nützlichen Seiten indexiert werden.
Die Risiken der Indexierung nutzloser Seiten
Alle Seiten einer Website unterschiedslos zu indexieren, kann mehrere Probleme in der SEO nach sich ziehen. Zunächst kann es die Absprungrate erhöhen, wenn manche Seiten nicht den Erwartungen der Nutzer entsprechen. Landet ein Nutzer beispielsweise auf einer wenig informativen Seite ohne Mehrwert, verlässt er die Website schnell, was ein negatives Signal an die Algorithmen von Google sendet.
Ein weiteres großes Risiko betrifft das Crawl-Budget. Google stellt eine begrenzte Menge an Ressourcen bereit, um die Seiten einer Website zu durchsuchen, das sogenannte „Crawl Budget“. Wird dieses Budget für unwichtige Seiten verschwendet, laufen die strategischen Seiten Gefahr, nicht ebenso häufig gecrawlt zu werden, was sich auf ihre Platzierung in den Suchergebnissen auswirken kann.
Darüber hinaus können manche Seiten doppelten Inhalt enthalten, was von Google stark abgestraft wird. Wenn dieselbe Information auf mehreren Seiten einer Website auftaucht, weiß die Suchmaschine nicht, welche sie bevorzugen soll, und kann sich entscheiden, manche nicht zu listen oder die Website in den Rankings zurückzustufen.
Die Arten von Seiten, die zu deindexieren sind
Manche Seiten einer Website bringen keinen echten Mehrwert für die SEO und können ohne negative Auswirkung aus dem Google-Index entfernt werden. Dazu zählen insbesondere:
- Veraltete Seiten, wie abgelaufene Sonderangebote, vergangene Veranstaltungen oder Inhalte zu Dienstleistungen, die nicht mehr verfügbar sind.
- Technische oder Zwischenseiten, wie interne Suchergebnisseiten oder Filterseiten auf E-Commerce-Websites, die für das organische Ranking nutzlos sein können.
- PDF-Dateien und andere herunterladbare Dokumente, vor allem, wenn sie den Inhalt einer HTML-Seite der Website duplizieren.
Diese Seiten zu deindexieren ermöglicht es nicht nur, die Indexierung der Website nicht mit überflüssigem Inhalt zu überfrachten, sondern auch, die Aufmerksamkeit von Google auf die wirklich strategischen Seiten zu lenken.
Deindexieren, aber mit Vorsicht
Auch wenn die Deindexierung vorteilhaft sein kann, muss sie sorgfältig durchgeführt werden, um dem Gesamtranking der Website nicht zu schaden. Besitzt eine Seite beispielsweise hochwertige Backlinks (Links von anderen Websites), könnte ihre Entfernung ohne Weiterleitung eine wertvolle Traffic- und SEO-Autoritätsquelle kosten.
Ebenso können manche Seiten vorübergehend deindexiert statt endgültig gelöscht werden, insbesondere bei einer Aktualisierung des Inhalts. In diesem Fall kann es vorzuziehen sein, Techniken wie 301-Weiterleitungen oder das Attribut „noindex“ zu verwenden statt einer brutalen Löschung des Inhalts.
Die verschiedenen Methoden, um eine Seite zu deindexieren
Eine Seite einer Website zu deindexieren bedeutet, ihre Anzeige in den Google-Ergebnissen zu verhindern. Diese Maßnahme kann auf mehrere Arten erfolgen, je nach Bedarf und Art des betroffenen Inhalts. Es ist wichtig, die am besten geeignete Methode zu wählen, um das Gesamtranking der Website nicht negativ zu beeinträchtigen.
Das „noindex“-Tag verwenden
Eine der einfachsten und wirksamsten Methoden, um eine Seite zu deindexieren, besteht darin, das „noindex“-Tag in ihren HTML-Code einzufügen. Dieses Tag weist die Crawling-Robots an, dass sie die betreffende Seite nicht listen sollen.
Der Hauptvorteil dieses Ansatzes ist seine einfache Umsetzung. Sobald das Tag eingebunden ist, berücksichtigt Google diese Anweisung bei seinem nächsten Besuch der Seite und entfernt sie nach und nach aus seinem Index. Diese Lösung ist jedoch nur wirksam, wenn die Seite für die Robots zugänglich bleibt. Wird sie durch die Datei robots.txt blockiert, kann Google das „noindex“-Tag nicht lesen und wird sie weiterhin indexieren.
Diese Technik ist besonders nützlich, um die Anzeige von Seiten mit geringem Wert, internen Seiten ohne Nutzen für die Nutzer oder auch duplizierten Seiten zu verhindern.
Eine Entfernung über die Google Search Console beantragen
Google bietet eine Option, mit der man die Entfernung einer Seite direkt über sein Werkzeug Search Console beantragen kann. Diese Methode ist ideal, wenn man eine Seite schnell deindexieren möchte, ohne ihren Quellcode zu verändern.
Dazu genügt es, den für die URL-Entfernung vorgesehenen Reiter in der Search Console aufzurufen und die Adresse der betreffenden Seite anzugeben. Sobald der Antrag gesendet ist, wird die Seite vorübergehend aus den Suchergebnissen entfernt. Diese Entfernung ist jedoch nicht endgültig. Um sicherzustellen, dass die Seite nicht erneut indexiert wird, empfiehlt es sich, ein „noindex“-Tag hinzuzufügen oder eine andere ergänzende Methode zu nutzen.
Das Crawlen mit der Datei robots.txt verhindern
Die Datei robots.txt ermöglicht es, den Zugriff der Google-Robots auf bestimmte Seiten der Website einzuschränken. Durch das Hinzufügen einer spezifischen Anweisung lässt sich das Crawlen einer URL untersagen.
Man muss jedoch klar verstehen, dass das Blockieren einer Seite mit robots.txt nicht bedeutet, dass sie deindexiert wird. Hat Google die Seite bereits indexiert, bevor die Anweisung eingerichtet wurde, kann sie weiterhin in den Ergebnissen erscheinen, auch wenn ihr Inhalt für die Robots nicht mehr zugänglich ist.
Diese Methode ist also wirksam, um zu verhindern, dass neue Seiten gecrawlt werden, sie stellt jedoch keine optimale Lösung dar, um bereits von Google berücksichtigte Seiten zu deindexieren.
Eine Seite mit den HTTP-Codes 404 und 410 entfernen
Wenn eine Seite keinen Nutzen mehr hat, besteht die beste Lösung oft darin, sie endgültig zu entfernen. In diesem Fall empfiehlt es sich, einen spezifischen HTTP-Code zu verwenden, um den Suchmaschinen zu signalisieren, dass die Seite nicht mehr existiert.
Der Code 404 gibt an, dass die Seite nicht auffindbar ist, während der Code 410 informiert, dass die Seite endgültig entfernt wurde. Google bevorzugt im Allgemeinen den Code 410, um entfernte Seiten schneller zu deindexieren.
Dieser Ansatz ist besonders nützlich für veraltete Seiten, alte Produkte einer E-Commerce-Website oder auch Blogartikel, die nicht mehr aktuell sind.
PDF-Dateien und Bilder mit dem HTTP-Header X-Robots-Tag deindexieren
Manche Seiten oder Dateien wie PDFs, Bilder und Videos verfügen über keinen Quellcode, in den man ein „noindex“-Tag einfügen könnte. In diesen Fällen ist der HTTP-Header X-Robots-Tag eine wirksame Alternative.
Diese Methode besteht darin, den Server so zu konfigurieren, dass er den Suchmaschinen signalisiert, dass bestimmte Dateien nicht indexiert werden sollen. Es ist eine ideale Lösung, um zu verhindern, dass vertrauliche oder duplizierte Dokumente in den Suchergebnissen berücksichtigt werden.
Ein SEO-Plugin unter WordPress verwenden
Für Websites, die unter WordPress laufen, ermöglichen Plugins wie Yoast SEO, eine Seite mühelos zu deindexieren, ohne ihren Code verändern zu müssen. Sobald das Plugin installiert ist, genügt es, die betreffende Seite auszuwählen und anzugeben, dass man ihre Indexierung durch Google verhindern möchte.
Diese Option ist besonders nützlich für Nutzer, die die Webentwicklung nicht beherrschen und ihre Indexierung auf intuitive Weise verwalten möchten.
Wie deindexiert man eine Seite, ohne ihre SEO zu beeinträchtigen?
Eine Seite seiner Website zu deindexieren ist eine Maßnahme, die positive, aber auch negative Folgen für das organische Ranking haben kann. Eine schlecht ausgeführte Deindexierung kann zu einem Traffic-Verlust, einer Verringerung der Autorität der Website oder auch zur unbeabsichtigten Entfernung wichtiger Seiten führen. Es ist daher wesentlich, methodisch vorzugehen, um die Risiken zu begrenzen und die SEO-Wirkung der betroffenen Seiten zu bewahren.
Die SEO-Wirkung der Seite analysieren, bevor man sie deindexiert
Bevor man die Entscheidung trifft, eine Seite zu deindexieren, ist es wichtig, ihre Rolle in der SEO-Strategie der Website zu bewerten. Dazu müssen mehrere Elemente berücksichtigt werden.
Zunächst ist es wesentlich, den von der betreffenden Seite erzeugten Traffic zu analysieren. Eine Seite, die eine bedeutende Zahl an Besuchern über die Suchmaschinen erhält, darf nicht unbedacht entfernt werden. Um diese Daten zu erhalten, ermöglichen Werkzeuge wie Google Analytics oder die Google Search Console, das Traffic-Volumen und die mit jeder Seite verbundenen Suchanfragen zu ermitteln.
Anschließend muss man die Backlinks untersuchen, die auf diese Seite verweisen. Eingehende Links von anderen Websites haben einen bedeutenden Wert in der SEO, da sie zur Platzierung der Website in den Suchergebnissen beitragen. Eine Seite mit Backlinks unbedacht zu entfernen, kann zu einem Verlust an Popularität und Ranking führen. Um dieses Problem zu vermeiden, kann es notwendig sein, diese Links auf eine andere relevante Seite umzuleiten.
Schließlich sollte man prüfen, ob die Seite Teil einer strategischen internen Verlinkung ist. Manche Seiten spielen eine Schlüsselrolle, indem sie die Besucher zu anderen Inhalten der Website leiten. Wird eine Seite deindexiert oder entfernt, ist es wesentlich, die internen Links zu aktualisieren, um tote Links zu vermeiden, die der Nutzererfahrung und der SEO schaden.
Eine 301-Weiterleitung einrichten, um die SEO zu bewahren
Wenn eine Seite deindexiert werden muss, obwohl sie ein gutes Ranking oder hochwertige Backlinks besitzt, besteht die beste Lösung darin, eine 301-Weiterleitung einzurichten. Diese Weiterleitung ermöglicht es, die Besucher (und die Google-Robots) automatisch auf eine andere Seite der Website zu leiten und dabei die SEO-Autorität der alten URL zu bewahren.
Wird beispielsweise ein veralteter Artikel entfernt, kann es sinnvoll sein, die Nutzer auf einen ähnlichen Inhalt oder eine relevantere Seite umzuleiten. Diese Praxis vermeidet einen Traffic-Verlust und sorgt für einen reibungslosen Übergang für die Nutzer.
Eine 301-Weiterleitung ist auch nützlich, um die Nutzererfahrung aufrechtzuerhalten, indem 404-Fehler vermieden werden. Wenn ein Besucher auf einen Link klickt, der zu einer entfernten Seite führt, ist es vorzuziehen, dass er automatisch auf eine relevante Alternative geleitet wird, statt auf einer nicht auffindbaren Seite zu landen.
Den richtigen HTTP-Code wählen, um die Entfernung einer Seite zu signalisieren
Wenn eine Seite deindexiert werden muss, ohne durch einen anderen Inhalt ersetzt zu werden, ist es wichtig, den Suchmaschinen klar anzuzeigen, dass sie nicht mehr berücksichtigt werden soll. In diesem Fall können zwei HTTP-Codes verwendet werden:
- Der Code 404 (Not Found): Er signalisiert, dass die Seite nicht mehr existiert, doch Google kann sie manchmal noch eine Zeit lang weiter indexieren, wenn es der Ansicht ist, dass sie wiederhergestellt werden könnte.
- Der Code 410 (Gone): Er gibt an, dass die Seite endgültig entfernt wurde. Dieser Code ist wirksamer als der 404, um die Deindexierung zu beschleunigen, da er ein klares Signal an Google sendet.
Die Verwendung des richtigen HTTP-Codes ist wesentlich, um eine saubere Entfernung zu gewährleisten und zu vermeiden, dass die Seite über einen längeren Zeitraum weiterhin in den Suchergebnissen erscheint.
Die korrekte Berücksichtigung der Deindexierung überprüfen
Sobald die Deindexierung einer Seite eingerichtet ist, ist es unerlässlich zu überprüfen, dass Google sie tatsächlich berücksichtigt hat. Dazu können mehrere Werkzeuge und Methoden genutzt werden.
Eines der einfachsten Mittel ist die Verwendung des Befehls „site:“ bei Google. Durch Eingabe von site:ihrewebsite.com/url-der-seite lässt sich sehen, ob die Seite noch in den Ergebnissen erscheint. Wird sie nicht mehr angezeigt, bedeutet das, dass die Deindexierung berücksichtigt wurde.
Auch die Google Search Console ermöglicht es, den Indexierungsstatus der Seiten zu verfolgen. Das Werkzeug bietet eine Funktion, mit der man die URL testen und sehen kann, ob sie von den Suchmaschinen noch berücksichtigt wird.
Es empfiehlt sich, diese Überprüfungen regelmäßig durchzuführen, um sicherzustellen, dass die Deindexierung tatsächlich wirksam ist, und zu vermeiden, dass Google die Seite unerwartet erneut in seinen Index aufnimmt.
Wie stellt man sicher, dass eine Seite tatsächlich deindexiert ist?
Eine Seite zu deindexieren bedeutet nicht, dass sie augenblicklich aus den Google-Ergebnissen verschwindet. Die Suchmaschinen müssen zunächst die erteilten Anweisungen berücksichtigen und ihren Index aktualisieren. Es ist daher wesentlich zu überprüfen, dass die Deindexierung tatsächlich durchgeführt wurde, und andernfalls die möglichen Probleme zu erkennen. Hier sind die Schritte, die man befolgen sollte, um sicherzustellen, dass eine Seite tatsächlich aus den Suchergebnissen entfernt wurde.
Die Indexierung mit dem Befehl „site:“ überprüfen
Eines der einfachsten Mittel, um zu kontrollieren, ob eine Seite noch von Google indexiert ist, ist die Verwendung des Befehls „site:“. Führt man eine Suche bei Google in der Form site:ihrewebsite.com/url-der-seite durch, lässt sich sehen, ob die Seite noch im Index der Suchmaschine erscheint.
Wird die Seite nicht mehr in den Ergebnissen angezeigt, bedeutet das, dass sie tatsächlich deindexiert wurde. Ist sie hingegen weiterhin vorhanden, weist das darauf hin, dass Google die Deindexierungsanweisung noch nicht berücksichtigt hat oder dass ein Problem ihre Anwendung verhindert.
Die Google Search Console nutzen, um den Indexierungsstatus zu verfolgen
Die Google Search Console ist das zuverlässigste Werkzeug, um den Indexierungsstatus einer Seite zu überprüfen. Sie ermöglicht es nicht nur zu sehen, ob eine Seite noch gelistet ist, sondern auch, die Gründe zu erkennen, aus denen sie möglicherweise nicht deindexiert ist.
Um eine URL zu kontrollieren, genügt es, den Bereich „URL-Prüfung“ aufzurufen und die Adresse der betreffenden Seite einzugeben. Das Werkzeug zeigt dann wertvolle Informationen an, insbesondere:
- Ob die Seite noch indexiert ist oder nicht.
- Das letzte Datum, an dem Google die Seite gecrawlt hat.
- Die eingerichteten Anweisungen, wie das Vorhandensein eines „noindex“-Tags oder eine Blockierung über robots.txt.
Ist die Seite trotz des Hinzufügens einer „noindex“-Anweisung oder einer über die Search Console beantragten Entfernung noch indexiert, lässt sich ein erneutes Crawlen durch Google erzwingen, indem man eine Aktualisierung der Indexierung beantragt.
Die Datei robots.txt und die Meta-Tags überprüfen
Ein weiteres zu prüfendes Element ist die Konfiguration der Datei robots.txt und der Meta-Tags der betreffenden Seite. Wurde eine „noindex“-Anweisung hinzugefügt, verhindert aber die Datei robots.txt den Zugriff der Robots auf die Seite, kann Google die Anweisung nicht lesen und wird die Seite weiterhin in seinen Ergebnissen anzeigen.
In diesem Fall muss man sicherstellen, dass die Seite für die Suchmaschinen zugänglich bleibt und zugleich die „noindex“-Anweisung enthält, um ihnen anzuzeigen, dass sie sie nicht indexieren sollen.
Ebenso muss man, wenn eine Seite mithilfe einer 301-Weiterleitung deindexiert wurde, sicherstellen, dass die Weiterleitung tatsächlich aktiv ist und keine Schleife oder keinen Fehler erzeugt, der ihre korrekte Berücksichtigung verhindern könnte.
Geduldig sein und die Updates von Google beobachten
Die Deindexierung einer Seite erfolgt nicht augenblicklich. Auch wenn alle Anweisungen korrekt eingerichtet wurden, kann Google mehrere Tage oder sogar mehrere Wochen benötigen, bevor es eine Seite endgültig aus seinem Index entfernt.
Es ist daher wichtig, Geduld zu beweisen und die Entwicklung der Indexierung mithilfe der zuvor genannten Werkzeuge weiter zu beobachten. In manchen Fällen, insbesondere wenn die Seite externe Backlinks besitzt oder stark von Google indexiert wurde, kann die Suchmaschine sie vorübergehend weiter listen, auch nach ihrer Entfernung.
Bleibt eine Seite trotz aller ergriffenen Maßnahmen indexiert, kann es notwendig sein, den Entfernungsantrag über die Google Search Console zu erneuern oder zu prüfen, ob es nicht andere Kopien der Seite gibt, die noch gelistet sein könnten.
