Support » Allgemeine Fragen » Wo finde ich die Datein robots.txt und sitemap.xml

  • Gelöst mengana

    (@mengana)


    Hallo, ich habe eine Frage betreffend robots.txt.
    Ich habe die Domain (coaster.ch) und die Subdomain (art.coaster.ch).
    When ich https://coaster.ch/robots.txt eingebe, kriege ich folgendes:

    User-agent: *
    Crawl-delay: 3

    When ich https://art.coaster.ch/robots.txt eingebe, kriege ich folgendes:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Sitemap: https://art.coaster.ch/wp-sitemap.xml

    Sitemap: sitemap.xml

    Diese robots-Dateien kann ich aber in den Verzeichnisse nicht finden. Wo sind sie eigentlich?
    Das gleiche passiert mit sitemap.xml: ich habe eine Sitemap mit XML Sitemap Generator Plugin generiert und wenn ich
    https://art.coaster.ch/sitemap.xml eingebe, sehe ich den Inhalt aber die Datei finde ich nicht. Wo liegt sie?

    Vielen Dank im Voraus!

    Die Seite, für die ich Hilfe brauche: [Anmelden, um den Link zu sehen]

Ansicht von 8 Antworten - 1 bis 8 (von insgesamt 8)
  • robots.txt wird von WordPress dynamisch generiert, sofern keine eigene robots.txt angelegt wurde. Du kannst das ganz leicht testen, indem du im Web-Stammverzeichnis eine robots.txt anlegst und als Inhalt hello world verwendest. Bei Aufruf von https://example.com/robots.txt (natürlich mit deiner Domain) wird dir hello world angezeigt. Löscht du die Datei wieder, siehst du den von WordPress erzeugten Inhalt. Für SEO ist die Datei aber nicht erforderlich.

    Die sitemap.xml wird ebenfalls dynamisch erzeugt, wobei SEO-Plugins (z.B. Yoast oder The SEO Framework) oft eine eigene Version erstellen.

    Thread-Starter mengana

    (@mengana)

    Herzlichen Dank für die schnelle Antwort.

    When ich https://art.coaster.ch/robots.txt eingebe, kriege ich folgendes:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Sitemap: https://art.coaster.ch/wp-sitemap.xml

    Sitemap: sitemap.xml

    Wie du siehst, Sitemap wird 2xMal angezeigt. Der 2. ist wahrscheinlich ein Fehler, da ich in Google Search Console (Neue Sitemap hinzufügen) falsch eingegeben habe. Wie kann ich das löschen?

    Danke im Voraus und Gruss!

    When ich https://art.coaster.ch/robots.txt eingebe, kriege ich folgendes:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Then passt es ja.

    Der 2. ist wahrscheinlich ein Fehler, da ich in Google Search Console (Neue Sitemap hinzufügen) falsch eingegeben habe. Wie kann ich das löschen?

    Die Google Search Konsole ist hier nicht unser Thema.

    Thread-Starter mengana

    (@mengana)

    Danke Bego.

    Auf robots.txt (https://art.coaster.ch/robots.txt) habe ich 2 „sitemaps“ Zeilen:
    Die 2. wurde mit „XML Sitemap“ generiert. Woher kommt die 1. Zeile?

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Sitemap: https://art.coaster.ch/wp-sitemap.xml

    Sitemap: sitemap.xml

    Die robots.txt, die WordPress dynamisch generiert, sieht so aus:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    
    Sitemap: https://wp.test/wp-sitemap.xml

    Eine weitere Zeile Sitemap: sitemap.xml wird durch ein Plugin eingefügt. Welches? Sehe ich mir den Inhalt der Sitemap an, wird angezeigt, dass die Sitemap von dem in deiner Website genutzten Plugin XML Sitemap Generator Plugin erzeugt wird.

    Thread-Starter mengana

    (@mengana)

    Hallo Bego

    wenn ich den Plugin XML Sitemap Generator for Google deaktiviere, verschwinde die 2. Sitemap Zeile

    Wenn ich den Link in die 1. Sitemap Zeile aufrufem also: https://art.coaster.ch/wp-sitemap.xml, kriege ich eine Error Page:

    This page contains the following errors:
    error on line 2 at column 6: XML declaration allowed only at the start of the document
    Below is a rendering of the page up to the first error.

    Meine Frage ist woher kommt diese 1. Sitemap Zeile….

    Das hatte ich doch bereits beantwortet? 🙂
    WordPress generiert die robots.txt dynamisch, ohne weiteres Zutun.
    Zur robots.txt gehört auch die Zeile Sitemap: https://wp.test/wp-sitemap.xml.
    Wo kommt die Zeile her? Sie wird von WordPress bei der dynamischen Erstellung der robots.txt eingefügt.

    Dass die dynamisch erstellte Sitemap im Browser nicht angezeigt wird, hängt mit einem Parse Error der XML-Datei zusammen, der durch eine vorangestellte Leerzeile erzeugt wird. Hier müsste geprüft werden, ob die Zeile vom Theme oder einem Plugin eingefügt wird.

    Thread-Starter mengana

    (@mengana)

    Danke Bego 🙂

Ansicht von 8 Antworten - 1 bis 8 (von insgesamt 8)
  • Das Thema „Wo finde ich die Datein robots.txt und sitemap.xml“ ist für neue Antworten geschlossen.