Er befolgt die Befehle für Googlebot
Eine robots.txt Datei mit all ihren Befehlen für Suchmaschinen kann manchmal große Ausmaße annehmen. Vor allem dann, wenn generelle Anweisungen nicht mehr ausreichen. Dann muss man die speziellen Anweisungen für die Bots der großen Suchmaschinen einzeln darlegen.
Denn bekanntermaßen wollen die Bots von Anbietern wie Bing, Yahoo und anderen Suchmaschinen persönlich angesprochen werden. Man muss die entsprechenden Regeln also für jeden Bot gesondert darlegen, auch wenn alle das Gleiche machen sollen. Es gibt jedoch
eine Ausnahme: Der relativ neue Applebot.
Applebot folgt den Anweisungen für Googlebot
Der Crawler von Apple folgt, wenn er nicht eigens genannt wird, einfach den Vorgaben, die in der robots.txt für den Googlebot gemacht werden. Laut John Mueller ist dies ein
einzigartiges Vorgehen in der Welt der Suchmaschinenspider. Es ist jedoch verständlich, da die meisten Webmaster sich vor allem um den Googlebot kümmern werden. Der Applebot folgt diesem und sieht damit alles genau so wie die größte Suchmaschine der Welt.
Damit haben SEOs bei der Erstellung ihrer robots.txt Dateien eine Sorge weniger. Vielleicht werden ja künftig auch andere Unternehmen aus der Branche ihren Bots beibringen, auf die Anweisungen für Googlebot zu hören – realistisch ist diese Hoffnung aber in absehbarer Zukunft nicht.
