Case-Study: No-index Part II

Die Ausgangslage

Anfang Mai beschrieb Homepage-Baukasten.de, wie und warum man zu der Entscheidung kam, 99,8 Prozent aller eigenen Seiten zu deindexieren. Zunächst einmal ein großes Dankeschön an alle, die sich aktiv an der Diskussion beteiligt haben. Im zweiten Teil der Case-Study soll genauer geschildert werden, wie die Deindexierung im weiteren Verlauf voranschritt und welche Erkenntnisse aus den Folgen gezogen wurden.

Wir erinnern uns: Googles zweites großes Phantom-Update trieb vor zwei Jahren zahlreiche
Webmaster zur Verzweiflung und wirbelte die Sichtbarkeit einiger Portale, vorzugsweise redaktionell geführter Natur, ordentlich durcheinander. Auch www.homepage-baukasten.de hatte seine liebe Not mit dem Update und verlor knapp 40 Prozent der Sichtbarkeit. In der Folge stellte man am 27. Oktober 2016 mehr als 100.000 interne Seiten auf „no-index“. Ende März 2017 waren weiterhin 2.200 Foren-Seiten indexiert. Warum die Seiten nicht komplett deindexiert wurden und weshalb Google mehrere Monate brauchte, um die Seiten aus dem Index zu nehmen, konnte damals nicht eindeutig beantwortet werden. Nun sollen die neuen Erkenntnisse der vergangenen Monate ein wenig Licht ins Dunkel bringen.

Die Deindexierung schreitet voran

Was inzwischen an Erkenntnissen hinzugewonnen wurde: In der Google Site-Abfrage wird bei den organischen Suchergebnissen der URLs, bei denen kein „no-index“-Tag gesetzt wurde, die Option „Cache ansehen“ angezeigt.

Case Study Teil 2 1
Bei Seiten, bei denen das Tag gesetzt wurde, fehlt diese Option. Das bedeutet, dass Google die getaggten Foren-URLs richtig erkannt hat, sie in den SERPs berücksichtigt, jedoch weiterhin nicht deren Deindexierung beschleunigt.

Case Study Teil 2 2

Wir betrachten die Logfiles

Man muss sich vergegenwärtigen, dass die Crawlingstatistiken der Search Console lediglich die Anzahl an Besuchen des Google-Bots, nicht aber die Anzahl an tatsächlich gecrawlten URLs anzeigen. Deshalb empfiehlt es sich, die Logfiles im Detail zu betrachten. Dadurch wird ersichtlich, wie oft und in welcher Ebene der Google-Bot welche URL zu welchem Zeitpunkt gecrawlt hat.

Die Recherche ergab folgende Erkenntnisse:

● Laut Search Console besuchte der Googlebot am 12.04.2017 über 100.000 Mal die Seite von Homepage-Baukasten.de, weshalb wir Stichprobenartig diesen Zeitraum betrachtet haben.

Case Study Teil 2 3
● An diesem Tag hat Google verschiedenste Foren-URLs mehrere zig tausende Male
aufgerufen – auch in dritter Ebene.

Augenscheinlich hat Google also die unterschiedlichen Foren-URLs in jedem Fall gecrawlt und damit auch das „no-index“-Tag bemerken müssen. Dennoch schreitet die Deindexierung nur stückweise voran und Google nimmt die URLs nur schleppend aus den organischen Suchergebnissen.

Das Crawling beschleunigen

Eine Maßnahme, die den Prozess des Crawlings der Seiten mit no-index, beziehungsweise deren Deindexierung beschleunigen könnte, ist die Möglichkeit, alle URLs in eine separate Sitemap zu listen und diese dann über die Search Console bei Google einzureichen. Für Homepage-Baukasten.de war dies jedoch keine Option, da 99,8 Prozent aller Seiten aus dem Index genommen werden sollten und alle URLs bereits in Sitemaps untergebracht waren.

Eine weitere Option, Priorities in Sitemaps zu setzen und alle „no-index“-Seiten mit Priorität 1,0 zu belegen, kam ebenfalls nicht in Frage. Im konkreten Fall des Homepage-Baukastens, hätten ebendiese 99,8 Prozent der Seiten die Priorität 1,0 erhalten müssen.

Fazit und Ausblick

Wie bereits im ersten Teil unserer Case-Study beschrieben, haben wir Foren-URL’s deindexiert, die seit mindestens einem Jahr keinen organischen Traffic generieren konnten. Ein Nebeneffekt der Deindexierung war der Verlust von trotzdem rankenden Keywords auf halbwegs guten Positionen. Dieser Verlust wurde jedoch bewusst gewählt, da dies Keywords betrifft, die für die eigene Branche nicht relevant waren. Insgesamt wurden keine wichtigen Moneykeywords aus den Top-10-Rankings verloren.

Anzumerken ist abschließend, dass bis zum heutigen Tag nicht alle Seiten mit dem Tag „no-index“ deindexiert wurden. Google scheint sich also bewusst Zeit zu lassen und stückelt die Deindexierung, um sicher zu gehen, dass sämtliche Seiten bewusst auf „no-index“ gestellt wurden. Das soll offenbar Fehler von Webmastern ausschließen.

Für die Zukunft, nach der vollständigen Deindexierung, stehen noch zwei wichtige Schritte aus: Erstens muss die Sitemap aktualisiert werden. Das bedeutet, dass alle Seiten mit dem „no-index“-Tag aus der Sitemap entfernt werden, damit Google diese nicht unnötig crawlt und somit Crawlingbudget verschenkt. Zweitens muss die robots.txt-Datei aktualisiert werden, um den Zugriff des Googlebots auf no-index-Seiten zu blockieren. Wie lange es noch dauert, bis die Seiten vollständige deindexiert sind, ist momentan weiterhin nicht absehbar.

Werbung

4 KOMMENTARE

  1. Hallo Sebastian,

    die Deindexierung dauert aktuell noch an und es sind noch immer nicht alle Seiten aus dem Index. Ich denke ein letztes Fazit auch in Bezug auf Sichtbarkeit kann erst gezogen werden, wenn wirklich alle Seiten deinidexiert wurden.
    Spannend ist aktuell, dass aufgrund der Deindexierung die Anzahl an organischen Keywords abgenommen hat, Traffic und Conversions aber konstant geblieben sind. Aktuell kann ich dir aber noch nicht sagen, dass die ganze Domain wieder gestärkt wurde. Positive Tendenzen sind aufjedenfall zu sehen.

    Beste Grüße
    Max

  2. Frage Maximilian: den noindex habt ihr automatisch in den einzelnen Seiten gesetzt im Abgleich mit Zugriffsstatistiken oder seid ihr da Stück für Stück vorgegangen? Keyword Ranking ansehen, Traffic ansehen. Und dann einen Datenbankabgleich was auf noindex gesetzt wird?

  3. Guten Morgen Michael,

    unser Vorgehen haben wir in dem ersten Teil der Case-Study beschrieben. Falls du diesen Teil noch nicht gesehen hast, kannst du hier gerne nochmal nachlesen: https://seo-portal.de/case-study-noindex/

    Wir haben alle Foren-Seiten deindexiert, die seit mindestens einem Jahr keinerlei organischen Traffic verbucht haben oder aber thematisch nicht zu unserer Zielgruppe gepasst haben.

    Solltest du noch Fragen haben, gerne her damit. 🙂

    Beste Grüße
    Max

Hinterlasse eine Antwort