seopinky

robots.txt verweis auf sitemap.xml

Recommended Posts

Hallo,

ich brauche bitte dringend Hilfe. Weiß jemand, wie Google mit einem Verweis in der robots.txt auf xml-sitemaps unterschiedlicher Domains umgeht?

Ausschnitt der robots.txt von https://www.beispiel.com

Sitemap: https://www..it/sitemap.xml
Sitemap: https://www..com/en-sitemap.xml
Sitemap: https://www..net/de-sitemap.xml
Sitemap: https://es..com/es-sitemap.xml
Sitemap: https://fr..com/fr-sitemap.xml

Einige der sitemaps sind nicht mal zu erreichen. Das kann doch nur ein schlechtes Zeichen sein, oder?

Unsere Webagentur hat diese Datei erstellt und ich bekomme keine Auskunft darüber.

Vielen Dank!!

Share this post


Link to post
Share on other sites
Vor 10 Stunden, seopinky said:

Hallo,

ich brauche bitte dringend Hilfe. Weiß jemand, wie Google mit einem Verweis in der robots.txt auf xml-sitemaps unterschiedlicher Domains umgeht?

Ausschnitt der robots.txt von https://www.beispiel.com

Sitemap: https://www..it/sitemap.xml
Sitemap: https://www..com/en-sitemap.xml
Sitemap: https://www..net/de-sitemap.xml
Sitemap: https://es..com/es-sitemap.xml
Sitemap: https://fr..com/fr-sitemap.xml

Einige der sitemaps sind nicht mal zu erreichen. Das kann doch nur ein schlechtes Zeichen sein, oder?

Unsere Webagentur hat diese Datei erstellt und ich bekomme keine Auskunft darüber.

Vielen Dank!!

Das Beispiel bringt nichts, 

Stehen die Sitemap: https://www..it/sitemap.xml hinter Allow oder Disallow? 

  • Like 1

Share this post


Link to post
Share on other sites

Das ist die gesamte robots.txt...

User-agent: EMailCollector
Disallow: /

User-agent: Teleport
Disallow: /

Sitemap: https://www. ... .it/sitemap.xml
Sitemap: https://www. ... .com/en-sitemap.xml
Sitemap: https://www. ... .net/de-sitemap.xml
Sitemap: https://es. ... .com/es-sitemap.xml
Sitemap: https://fr. ... .com/fr-sitemap.xml

Share this post


Link to post
Share on other sites
Vor 4 Stunden, seopinky said:

Das ist die gesamte robots.txt...

Ok nun sollten die Beiden Verbotenen dem Robots.txt folge leisten so sind für beide deine Seite Tabu. Das betrifft Google allerdings nicht. 

Gehe mal zu http://www.robotstxt.org/  Sollte Google dir beim Fetch sagen das dein Robots.txt es Tante Google untersagt zu scannen nimm einen Robots.txt wie 

User-agent: *
Disallow:

 Ich halte nichts davon in dem Robots.txt den Pfad zu den Sitemaps unterzubringen. Dafür hat Google, Bing und Yandex eine Extra Eingabe. 

  • Like 1

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now