robots.txt wird von WordPress dynamisch generiert, sofern keine eigene robots.txt angelegt wurde. Du kannst das ganz leicht testen, indem du im Web-Stammverzeichnis eine robots.txt anlegst und als Inhalt hello world verwendest. Bei Aufruf von https://example.com/robots.txt (natürlich mit deiner Domain) wird dir hello world angezeigt. Löscht du die Datei wieder, siehst du den von WordPress erzeugten Inhalt. Für SEO ist die Datei aber nicht erforderlich.
Die sitemap.xml wird ebenfalls dynamisch erzeugt, wobei SEO-Plugins (z.B. Yoast oder The SEO Framework) oft eine eigene Version erstellen.
Herzlichen Dank für die schnelle Antwort.
When ich https://art.coaster.ch/robots.txt eingebe, kriege ich folgendes:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://art.coaster.ch/wp-sitemap.xml
Sitemap: sitemap.xml
Wie du siehst, Sitemap wird 2xMal angezeigt. Der 2. ist wahrscheinlich ein Fehler, da ich in Google Search Console (Neue Sitemap hinzufügen) falsch eingegeben habe. Wie kann ich das löschen?
Danke im Voraus und Gruss!
When ich https://art.coaster.ch/robots.txt eingebe, kriege ich folgendes:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Then passt es ja.
Der 2. ist wahrscheinlich ein Fehler, da ich in Google Search Console (Neue Sitemap hinzufügen) falsch eingegeben habe. Wie kann ich das löschen?
Die Google Search Konsole ist hier nicht unser Thema.
Danke Bego.
Auf robots.txt (https://art.coaster.ch/robots.txt) habe ich 2 „sitemaps“ Zeilen:
Die 2. wurde mit „XML Sitemap“ generiert. Woher kommt die 1. Zeile?
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://art.coaster.ch/wp-sitemap.xml
Sitemap: sitemap.xml
Die robots.txt, die WordPress dynamisch generiert, sieht so aus:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://wp.test/wp-sitemap.xml
Eine weitere Zeile Sitemap: sitemap.xml wird durch ein Plugin eingefügt. Welches? Sehe ich mir den Inhalt der Sitemap an, wird angezeigt, dass die Sitemap von dem in deiner Website genutzten Plugin XML Sitemap Generator Plugin erzeugt wird.
Hallo Bego
wenn ich den Plugin XML Sitemap Generator for Google deaktiviere, verschwinde die 2. Sitemap Zeile
Wenn ich den Link in die 1. Sitemap Zeile aufrufem also: https://art.coaster.ch/wp-sitemap.xml, kriege ich eine Error Page:
This page contains the following errors:
error on line 2 at column 6: XML declaration allowed only at the start of the document
Below is a rendering of the page up to the first error.
Meine Frage ist woher kommt diese 1. Sitemap Zeile….
Das hatte ich doch bereits beantwortet? 🙂
WordPress generiert die robots.txt dynamisch, ohne weiteres Zutun.
Zur robots.txt gehört auch die Zeile Sitemap: https://wp.test/wp-sitemap.xml.
Wo kommt die Zeile her? Sie wird von WordPress bei der dynamischen Erstellung der robots.txt eingefügt.
Dass die dynamisch erstellte Sitemap im Browser nicht angezeigt wird, hängt mit einem Parse Error der XML-Datei zusammen, der durch eine vorangestellte Leerzeile erzeugt wird. Hier müsste geprüft werden, ob die Zeile vom Theme oder einem Plugin eingefügt wird.
