Kurzzeitiges Crawlverbot an den Googlebot
Im letzten Webmaster-Hangout fragte ein Nutzer, wie er dafür sorgen könne, dass das Crawlen seiner Website kurzzeitig unterbrochen werden kann. Warum jemand sowas möchte? Während der „Black Week“ wollte ein User die Crawlhäufigkeit seiner Website kurzzeitig unterbinden. Dies funktioniert zwar auch mit einer entsprechenden Änderung in der vorgegebenen Crawl-Frequenz, jedoch schlug Google Mitarbeiter John Müller im Webmaster Hangouts vor, stattdessen einen 503-Statusmeldung beim Aufrufen der Robots.txt-Datei einzusetzen. Auf diese Weise wüsste der Google-Bot, dass die Website aktuell nicht zu Crawlen sei. Nur sollte dies kein Dauerzustand sein, da dies sonst den Anschein erweckt, dass die Website im schlimmsten Fall aus dem Index verschwinden könnte.
https://www.youtube.com/watch?v=7CJDebrmlUA&t=208
Muss ich meine Website nun auch extra für Voice Search optimieren?
Mit dem Aufstieg von Alexa, Google Home und dem Apple HomePod stellt sich auch die Frage, wie die eigene Website für diese Sprachassistenten optimiert werden kann. Und zwar nicht nur für diese Stationen zu Hause, denn auch unterwegs können Siri und Co. verwendet werden.
Wenn die eigene Website bereits suchmaschinenoptimiert ist, braucht man für eine Voice Search Optimierung nicht mehr viel zu tun. In einem aktuellen Artikel von SISTRIX wird auf die Besonderheiten der Voice Search hingewiesen und inwieweit dies wirklich SEO-relevant ist. Oft kursieren laut Autor Juan Gonzalez viele Halbwahrheiten und Gerüchte um Voice Search, für die es kaum bis gar keine Belege gibt.
Zum einen liegt das daran, dass Google selbst seit mehreren Jahren keine neuen Informationen diesbezüglich liefert. Dies lässt logischerweise viel Spielraum für Spekulationen zu.
Was Juan Gonzalez Empfehlung ist, findet Ihr im Sistrix-Artikel.
https://www.sistrix.de/news/deine-webseite-ist-noch-nicht-fuer-voice-search-optimiert-macht-nix/
Kommt die Crawl-Statistik zurück zur Search Console?
Eine weitere Frage beantwortete John Müller im letzten Webmaster-Hangout und dieses Mal zum Thema Crawlbudget. In der alten Google Search Console gab es die Möglichkeit, die Crawl-Statistik der Website aufzurufen. Daraus schließen konnte man das sogenannte Crawl-Budget, welche vorgibt, wie viele Seiten bei einem Crawlvorgang und wie häufig der Crawler die Website besuchte.
John Müller konnte hierzu aber keine genauen Informationen weitergeben. Jedoch gab er einen undeutlichen Hinweis darauf, dass etwas Ähnliches wie die Crawl-Statistik in die neue Search Console zurückkommen würde.
https://www.youtube.com/watch?time_continue=639&v=VitQGsyurmw
