500er Fehler in der robots.txt
Vorsicht soll gewalten werden, wenn in der robots.txt ein HTTP 500 Fehler auftaucht. Dies wird laut einem Tweet von Pedro Dias zu einem sofortigen Stop des Crawlvorgangs führen. Im schlimmsten Fall führe dies zu einer De-Indexierung der Website. Ein HTTP 500 Fehler steht für einen internen Serverfehler. Diese Information lädt dazu ein, regelmäßig die robots.txt durchzuchecken.
https://twitter.com/pedrodias/status/1145643492330397697
Regeln für die robots.txt
Mit einer interessanten Bekanntmachung hat Google mitgeteilt, dass sogenannte Robots Exclusion Protocols als Internet-Standard eingesetzt werden. Mit diesem neuen Standard werden einige Befehle nicht mehr unterstützt, welche laut Google sowieso kaum Verwendung finden wie "crawl-delay", "nofollow" oder "noindex". Dafür nennt Google mehrere Alternativen, welche ab dem 01. September verwendet werden sollten:
- Passwort-Schutz
- Disallow in der robots.txt
- Entfernen der per URL Removal Tool in der Google Search Console
- noindex-Befehl in der Meta Robots oder X-Robots im HTTP-Header
- 404- oder 410 Status Codes.
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html
Google crawlt alles, auch mit Canonical Tag
Auf die Frage eines Users, welche Seite gecrawlt werden würde, wenn diese responsiv, als Mobil- und als AMP-Version und ein Canonical-Tag gesetzt werden würde, antworte John Müller, dass zwar der Focus auf die Version mit Canonical liegt, aber die anderen Versionen ebenfalls von Zeit zu Zeit gecrawlt werden würden. Dies würde auch eben in Abhängigkeit des Crawlbots liegen, welcher gerade die Website durchcrawlt.
https://twitter.com/JohnMu/status/1146325059373543424
Autorität einer Website steigt in Krisenfällen
Google hat aufgeklärt, dass der Algorithmus durchaus in der Lage sei, negative Ereignisse zu erkennen und der Rankingfaktor der Autorität stärker zu gewichten. Vor allem im Zeitalter von Fake News wäre es wichtig, dass vertrauenswürdige Websites bei Katastrophen wie der hohen Anzahl an Schießereien in den USA weiter oben in den SERPs erscheinen.
https://www.seo-suedwest.de/5023-google-in-krisenfaellen-wird-autoritaet-von-den-algorithmen-hoeher-gewichtet.html
