Robots.txt nicht erreichbar
-
Mir ist kürzlich aufgefallen, dass meine Webseite https://sportunion-anras.com nicht in den Google-Suchergebnissen erscheint. Sie war zuvor indexiert, aber seit einigen Wochen ist sie aus den Suchergebnissen verschwunden und wird nicht mehr auf Google indexiert.
Bei der Google Search Console erscheint immer der Fehler Robots.txt nicht erreichbar...auch bei den Live-Url Tests kommt dieser Fehler. Die robots.txt ist allerdings auf der Website vorhanden https://sportunion-anras.com/robots.txt
Fehlermeldung bei der Google Search Console:
Crawling
Zeit
08.04.2024, 08:07:15
Gecrawlt über
Google-Prüftool (Smartphone)
Crawling erlaubt?
Ja
Seitenabruf
error
Fehler: Robots.txt nicht erreichbar
Indexierung zulässig?
Nicht zutreffend
Indexierung
Vom Nutzer angegebene kanonische URL
Nicht zutreffend
Von Google ausgewählte kanonische URL
Wird erst nach der Indexierung ermittelt- Dieses Thema wurde geändert vor 6 Monaten von danyiel.
Die Seite, für die ich Hilfe brauche: [Anmelden, um den Link zu sehen]
-
Im Moment hast du dir die Website zerschossen, in dem du bei Einstellungen > Allgemein deine URL einmal mit und einmal ohne https eingegeben hast. Schau bitte mal, ob du noch ins Backend kommst und die URL dort korrigieren kannst. Anderenfalls kannst du im Kundenmenü deines Webhosters in die Datenbankverwaltung gehen, die Tabelle
wp_options
aufrufen (die Vorsilbe kann anders lauten) und die URL in den Feldernsiteurl
undhome
prüfen und ggf. korrigieren. Fürhome
musst du (ähnlich wie bei einer Excel-Tabelle) ein wenig in der Tabelle blättern.Die
robots.txt
wird dynamisch durch dein SEO-Plugin erzeugt und korrekt ausgegeben.Vielen Dank für die Antwort…ich habe jetzt im Dashboard die WordPress-Adresse (URL) und Website-Adresse (URL) beides mal die aktuelle Adresse mit https ergänzt. Leider konnte das Problem noch nicht gelöst werden.
- Diese Antwort wurde geändert vor 6 Monaten von danyiel.
Das war auch nur ein Zwischenschritt. Als nächstes kannst du in Elementor > Werkzeuge die URL
http://spo…ras.com/
mithttps://spo…ras.com/
ersetzen (mit deiner vollständigen Domain, die ich hier nur anonymisiert habe).Die Datei
https://spo…ras.com/robots.txt
ist erreichbar – und darum ging es doch in diesem Thread?Vielen Dank für deine Hilfe…habe ich bei Elementor Werkzeuge ersetzt.
Genau -> die robots.txt ist erreichbar, aber leider wird bei der Google Search Console immer der Fehler „Fehler: Robots.txt nicht erreichbar“ angezeigt -> deshalb ist die Website auch nicht mehr auf Google auffindbar.
Wie kann ich das Problem lösen, damit ich wieder eine Indexierung beantragen kann?Du hast die Änderung doch heute erst durchgeführt?
Der Google-Bot kommt doch nicht stündlich vorbei. Wenn du kein internationales Nachrichtenportal betreibst, dauert das ein paar Tage.Gib mal unter https://de.ryte.com/free-tools/robots-txt/ deine URL ein.
Dann erhalte ich: Crawling ist für Googlebot erlaubt
… und was bekommst du unter https://technicalseo.com/tools/robots-txt/, wenn du als Agent Googlebot Smartphone eingibst?
Und wann wirst du jetzt den Thread als „gelöst“ markieren? 🙂
Durch die robots.txt wurde die Website letztes Jahr blockiert….es hat jetzt nur mehr als 2 Monate gedauert bis Google die Seite wieder gecrawlt hat…danke für eure Hilfe
An dieser Stelle nochmal eine freundliche Erklärung, wieso wir bitten, Threads als „gelöst“ zu markieren:
Wir haben nur ein kleines Team von aktiv Teilnehmenden, die in ihrer freien Zeit bisher nicht als „gelöst“ markierte Threads durchgehen, um noch offene Fragen kostenlos zu beantworten. Ist ein Thread als „gelöst“ markiert, können wir unsere knappe Zeit für andere Fragen einsetzen.
Selbst wenn ein Thread als „gelöst“ markiert wurde, ist es bis zu sechs Monate jederzeit möglich, weitere Fragen im selben Thread zu stellen oder einen neuen Thread zu starten. Ergibt sich, dass eine Frage doch nicht vollständig beantwortet wurde, ändern wir gerne wieder den Status. Du vergibst dir also nichts, einen Thread als „gelöst“ zu markieren.
Wir möchten mit unseren Antworten möglichst viele Anwender erreichen. Die Kennzeichnung als „gelöst“ gibt anderen Teilnehmern den Hinweis, dass zu einer Frage eine Lösung gefunden wurde, die vielleicht bei einem ähnlichen Problem helfen könnte.
In diesem Fall war der Thread einen Monat nicht als „gelöst“ markiert, obwohl alle Fragen längst zeitnah beantwortet wurden. Wir können nichts dafür, dass Google Webseiten in längeren Abständen crawlt, aber durch den Status wurde der Thread einen Monat weiterhin als nicht ausreichend beantwortet angezeigt. Das bindet unnötig Ressourcen. Bitte denk beim nächsten Thread daran, besonders wenn nochmal zurückgefragt wird, ob wir den Thread als „gelöst“ markieren können.
Lieber Bego Mario Gade, @pixolin
ich habe ein sehr ähnliches Problem, allerdings bezieht es sich seltsamerweise nur auf eine Unterseite meiner Webseite. Könntest du mir da weiterhelfen?
Es geht um folgende Seite: https://www.medizin-und-didaktik.de/hebammenfortbildung/notfallfortbildung/
Hier bekomme ich o.g. Fehlermeldung in der Google Search Konsole
- Diese Antwort wurde geändert vor 3 Monaten, 1 Woche von moinjdrk.
https://technicalseo.com/tools/robots-txt/ – hier scheint alles ok /allowed
https://de.ryte.com/website-checker/ – hier „ist indexierbar“ „none“
- Diese Antwort wurde geändert vor 3 Monaten, 1 Woche von moinjdrk.
@moinjdrk Es ist keine gute Idee, Fragen an einen alten Thread anzuhängen, der auch noch als „gelöst“ markiert wurde. „Gelöst“ bedeutet für das Support-Team „hier brauchst du nicht mehr gucken, alles OK“.
Starte bitte einen neuen Thread und halte dich an die Vorgaben im angehefteten Beitrag:
- Du musst angemeldet sein, um auf dieses Thema zu antworten.