seopinky

robots.txt verweis auf sitemap.xml

Recommended Posts

Hallo,

ich brauche bitte dringend Hilfe. Weiß jemand, wie Google mit einem Verweis in der robots.txt auf xml-sitemaps unterschiedlicher Domains umgeht?

Ausschnitt der robots.txt von https://www.beispiel.com

Sitemap: https://www..it/sitemap.xml
Sitemap: https://www..com/en-sitemap.xml
Sitemap: https://www..net/de-sitemap.xml
Sitemap: https://es..com/es-sitemap.xml
Sitemap: https://fr..com/fr-sitemap.xml

Einige der sitemaps sind nicht mal zu erreichen. Das kann doch nur ein schlechtes Zeichen sein, oder?

Unsere Webagentur hat diese Datei erstellt und ich bekomme keine Auskunft darüber.

Vielen Dank!!

Share this post


Link to post
Share on other sites
Vor 10 Stunden, seopinky said:

Hallo,

ich brauche bitte dringend Hilfe. Weiß jemand, wie Google mit einem Verweis in der robots.txt auf xml-sitemaps unterschiedlicher Domains umgeht?

Ausschnitt der robots.txt von https://www.beispiel.com

Sitemap: https://www..it/sitemap.xml
Sitemap: https://www..com/en-sitemap.xml
Sitemap: https://www..net/de-sitemap.xml
Sitemap: https://es..com/es-sitemap.xml
Sitemap: https://fr..com/fr-sitemap.xml

Einige der sitemaps sind nicht mal zu erreichen. Das kann doch nur ein schlechtes Zeichen sein, oder?

Unsere Webagentur hat diese Datei erstellt und ich bekomme keine Auskunft darüber.

Vielen Dank!!

Das Beispiel bringt nichts, 

Stehen die Sitemap: https://www..it/sitemap.xml hinter Allow oder Disallow? 

  • Like 1

Share this post


Link to post
Share on other sites

Das ist die gesamte robots.txt...

User-agent: EMailCollector
Disallow: /

User-agent: Teleport
Disallow: /

Sitemap: https://www. ... .it/sitemap.xml
Sitemap: https://www. ... .com/en-sitemap.xml
Sitemap: https://www. ... .net/de-sitemap.xml
Sitemap: https://es. ... .com/es-sitemap.xml
Sitemap: https://fr. ... .com/fr-sitemap.xml

Share this post


Link to post
Share on other sites
Vor 4 Stunden, seopinky said:

Das ist die gesamte robots.txt...

Ok nun sollten die Beiden Verbotenen dem Robots.txt folge leisten so sind für beide deine Seite Tabu. Das betrifft Google allerdings nicht. 

Gehe mal zu http://www.robotstxt.org/  Sollte Google dir beim Fetch sagen das dein Robots.txt es Tante Google untersagt zu scannen nimm einen Robots.txt wie 

User-agent: *
Disallow:

 Ich halte nichts davon in dem Robots.txt den Pfad zu den Sitemaps unterzubringen. Dafür hat Google, Bing und Yandex eine Extra Eingabe. 

  • Like 1

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.