seopinky

robots.txt verweis auf sitemap.xml

5 Beiträge in diesem Thema

Hallo,

ich brauche bitte dringend Hilfe. Weiß jemand, wie Google mit einem Verweis in der robots.txt auf xml-sitemaps unterschiedlicher Domains umgeht?

Ausschnitt der robots.txt von https://www.beispiel.com

Sitemap: https://www..it/sitemap.xml
Sitemap: https://www..com/en-sitemap.xml
Sitemap: https://www..net/de-sitemap.xml
Sitemap: https://es..com/es-sitemap.xml
Sitemap: https://fr..com/fr-sitemap.xml

Einige der sitemaps sind nicht mal zu erreichen. Das kann doch nur ein schlechtes Zeichen sein, oder?

Unsere Webagentur hat diese Datei erstellt und ich bekomme keine Auskunft darüber.

Vielen Dank!!

Diesen Beitrag teilen


Link zum Beitrag
Vor 10 Stunden, seopinky said:

Hallo,

ich brauche bitte dringend Hilfe. Weiß jemand, wie Google mit einem Verweis in der robots.txt auf xml-sitemaps unterschiedlicher Domains umgeht?

Ausschnitt der robots.txt von https://www.beispiel.com

Sitemap: https://www..it/sitemap.xml
Sitemap: https://www..com/en-sitemap.xml
Sitemap: https://www..net/de-sitemap.xml
Sitemap: https://es..com/es-sitemap.xml
Sitemap: https://fr..com/fr-sitemap.xml

Einige der sitemaps sind nicht mal zu erreichen. Das kann doch nur ein schlechtes Zeichen sein, oder?

Unsere Webagentur hat diese Datei erstellt und ich bekomme keine Auskunft darüber.

Vielen Dank!!

Das Beispiel bringt nichts, 

Stehen die Sitemap: https://www..it/sitemap.xml hinter Allow oder Disallow? 

1 person likes this

Diesen Beitrag teilen


Link zum Beitrag

Das ist die gesamte robots.txt...

User-agent: EMailCollector
Disallow: /

User-agent: Teleport
Disallow: /

Sitemap: https://www. ... .it/sitemap.xml
Sitemap: https://www. ... .com/en-sitemap.xml
Sitemap: https://www. ... .net/de-sitemap.xml
Sitemap: https://es. ... .com/es-sitemap.xml
Sitemap: https://fr. ... .com/fr-sitemap.xml

Diesen Beitrag teilen


Link zum Beitrag
Vor 4 Stunden, seopinky said:

Das ist die gesamte robots.txt...

Ok nun sollten die Beiden Verbotenen dem Robots.txt folge leisten so sind für beide deine Seite Tabu. Das betrifft Google allerdings nicht. 

Gehe mal zu http://www.robotstxt.org/  Sollte Google dir beim Fetch sagen das dein Robots.txt es Tante Google untersagt zu scannen nimm einen Robots.txt wie 

User-agent: *
Disallow:

 Ich halte nichts davon in dem Robots.txt den Pfad zu den Sitemaps unterzubringen. Dafür hat Google, Bing und Yandex eine Extra Eingabe. 

1 person likes this

Diesen Beitrag teilen


Link zum Beitrag

Erstellen Sie einen Account oder melde Sie sich an um kommentieren zu können

Nur Foren-Mitglieder können Kommentare verfassen

Einen neuen Account anlegen

Registrieren Sie einen neuen Account in unserer Community. Es ist einfach!


Account anlegen

Anmelden

Haben Sie bereits einen Account? Dann melden Sie sich hier an.


Jetzt Anmelden