FAQ der Webmaster Hangouts
Robots.txt
Kernaussagen: • Google schaut sich die robots.txt in der Regel ein Mal pro Tag an. • In der robots.txt kann man Inhalte für das Crawlen und Indexieren durch Google blockieren. • Für Seiten, die aus dem Index verschwinden sollen, sollte man Noindex nutzen. Denn durch das Blockieren mit robots.txt…
Michael Schöttler 18. November 2016