Support » Allgemeine Fragen » Robots.txt nicht erreichbar

  • Gelöst danyiel

    (@danyiel)


    Mir ist kürzlich aufgefallen, dass meine Webseite https://sportunion-anras.com nicht in den Google-Suchergebnissen erscheint. Sie war zuvor indexiert, aber seit einigen Wochen ist sie aus den Suchergebnissen verschwunden und wird nicht mehr auf Google indexiert.

    Bei der Google Search Console erscheint immer der Fehler Robots.txt nicht erreichbar...auch bei den Live-Url Tests kommt dieser Fehler. Die robots.txt ist allerdings auf der Website vorhanden https://sportunion-anras.com/robots.txt

    Fehlermeldung bei der Google Search Console:
    Crawling
    Zeit
    08.04.2024, 08:07:15
    Gecrawlt über
    Google-Prüftool (Smartphone)
    Crawling erlaubt?
    Ja
    Seitenabruf
    error
    Fehler: Robots.txt nicht erreichbar
    Indexierung zulässig?
    Nicht zutreffend
    Indexierung
    Vom Nutzer angegebene kanonische URL
    Nicht zutreffend
    Von Google ausgewählte kanonische URL

    Wird erst nach der Indexierung ermittelt
    • Dieses Thema wurde geändert vor 1 Monat, 2 Wochen von danyiel.

    Die Seite, für die ich Hilfe brauche: [Anmelden, um den Link zu sehen]

Ansicht von 12 Antworten - 1 bis 12 (von insgesamt 12)
  • Im Moment hast du dir die Website zerschossen, in dem du bei Einstellungen > Allgemein deine URL einmal mit und einmal ohne https eingegeben hast. Schau bitte mal, ob du noch ins Backend kommst und die URL dort korrigieren kannst. Anderenfalls kannst du im Kundenmenü deines Webhosters in die Datenbankverwaltung gehen, die Tabelle wp_options aufrufen (die Vorsilbe kann anders lauten) und die URL in den Feldern siteurl und home prüfen und ggf. korrigieren. Für home musst du (ähnlich wie bei einer Excel-Tabelle) ein wenig in der Tabelle blättern.

    Die robots.txt wird dynamisch durch dein SEO-Plugin erzeugt und korrekt ausgegeben.

    Thread-Starter danyiel

    (@danyiel)

    Vielen Dank für die Antwort…ich habe jetzt im Dashboard die WordPress-Adresse (URL) und Website-Adresse (URL) beides mal die aktuelle Adresse mit https ergänzt. Leider konnte das Problem noch nicht gelöst werden.

    • Diese Antwort wurde geändert vor 1 Monat, 2 Wochen von danyiel.

    Das war auch nur ein Zwischenschritt. Als nächstes kannst du in Elementor > Werkzeuge die URL http://spo…ras.com/ mit https://spo…ras.com/ ersetzen (mit deiner vollständigen Domain, die ich hier nur anonymisiert habe).

    Die Datei https://spo…ras.com/robots.txt ist erreichbar – und darum ging es doch in diesem Thread?

    Thread-Starter danyiel

    (@danyiel)

    Vielen Dank für deine Hilfe…habe ich bei Elementor Werkzeuge ersetzt.

    Genau -> die robots.txt ist erreichbar, aber leider wird bei der Google Search Console immer der Fehler „Fehler: Robots.txt nicht erreichbar“ angezeigt -> deshalb ist die Website auch nicht mehr auf Google auffindbar.

    Wie kann ich das Problem lösen, damit ich wieder eine Indexierung beantragen kann?

    Du hast die Änderung doch heute erst durchgeführt?
    Der Google-Bot kommt doch nicht stündlich vorbei. Wenn du kein internationales Nachrichtenportal betreibst, dauert das ein paar Tage.

    Gib mal unter https://de.ryte.com/free-tools/robots-txt/ deine URL ein.

    Thread-Starter danyiel

    (@danyiel)

    Dann erhalte ich: Crawling ist für Googlebot erlaubt

    … und was bekommst du unter https://technicalseo.com/tools/robots-txt/, wenn du als Agent Googlebot Smartphone eingibst?

    Thread-Starter danyiel

    (@danyiel)

    robots.txt: https://sportunion-anras.com/robots.txt (200 OK)

    URL Path: /

    Result: Allowed

    Und wann wirst du jetzt den Thread als „gelöst“ markieren? 🙂

    Thread-Starter danyiel

    (@danyiel)

    Durch die robots.txt wurde die Website letztes Jahr blockiert….es hat jetzt nur mehr als 2 Monate gedauert bis Google die Seite wieder gecrawlt hat…danke für eure Hilfe

    An dieser Stelle nochmal eine freundliche Erklärung, wieso wir bitten, Threads als „gelöst“ zu markieren:

    Wir haben nur ein kleines Team von aktiv Teilnehmenden, die in ihrer freien Zeit bisher nicht als „gelöst“ markierte Threads durchgehen, um noch offene Fragen kostenlos zu beantworten. Ist ein Thread als „gelöst“ markiert, können wir unsere knappe Zeit für andere Fragen einsetzen.

    Selbst wenn ein Thread als „gelöst“ markiert wurde, ist es bis zu sechs Monate jederzeit möglich, weitere Fragen im selben Thread zu stellen oder einen neuen Thread zu starten. Ergibt sich, dass eine Frage doch nicht vollständig beantwortet wurde, ändern wir gerne wieder den Status. Du vergibst dir also nichts, einen Thread als „gelöst“ zu markieren.

    Wir möchten mit unseren Antworten möglichst viele Anwender erreichen. Die Kennzeichnung als „gelöst“ gibt anderen Teilnehmern den Hinweis, dass zu einer Frage eine Lösung gefunden wurde, die vielleicht bei einem ähnlichen Problem helfen könnte.

    In diesem Fall war der Thread einen Monat nicht als „gelöst“ markiert, obwohl alle Fragen längst zeitnah beantwortet wurden. Wir können nichts dafür, dass Google Webseiten in längeren Abständen crawlt, aber durch den Status wurde der Thread einen Monat weiterhin als nicht ausreichend beantwortet angezeigt. Das bindet unnötig Ressourcen. Bitte denk beim nächsten Thread daran, besonders wenn nochmal zurückgefragt wird, ob wir den Thread als „gelöst“ markieren können.

Ansicht von 12 Antworten - 1 bis 12 (von insgesamt 12)