Die Website scheint noch recht jung zu sein? Sie enthält auf zwei Seiten noch Blindtexte. Der Inhalt der Startseite besteht außerdem aus wenig Informationen, die von einer Suchmaschine dringend indexiert werden sollten – hier gibt es sicher noch Spielraum zur Optimierung, da die Startseite am stärksten gewichtet wird.
In der Search Console kannst du zwar durch Einreichen einer Sitemap ein erneutes Crawling anfragen, wann der Bot die Webseite tatsächlich abruft, lässt sich aber nicht beeinflussen.
Da du scheinbar ein Sicherheits-Plugin nutzt (der Website-Bericht wurde leider auch hier nicht mitgeliefert), könnte auch eine zu restriktive Absicherung der Website die Ursache sein, dass die Seiten nicht indexiert werden.
Ich habe die Google Search Console auf manuelle Maßnahmen oder Sicherheitsprobleme hin überprüft – es erscheint stets die Fehlermeldung: Fehler: Robots.txt nicht erreichbar
Hast du mal einen Check der Live-URL angestoßen? Klappt es dann?
Falls nicht: Wir hatten mal ein ähnliches Problem, da hatte der Hoster die Google IP-Adresse geblockt und so den Googlebot ausgeschlossen. Lässt sich schwer herausbekommen, weil nur wenige SSH-Zugang zum Server haben. Aber vielleicht kann der Hoster-Support dann helfen.
Noch was anderes: Vielleicht möchtest du das hier noch aus der Sitemap entfernen:
https://sportunion-anras.com/elementor-hf-sitemap.xml
Die beiden Einträge leiten eh auf die Startseite und werden nur intern von Elementor Header & Footer o.ä. genutzt. Kann also in Yoast für die Sitemap deaktiviert werden.
Gruß, Torsten
Vielen Dank für Eure Antworten.
Auch beim Live-Url Test kommt immer die Fehlermeldung Fehler: Robots.txt nicht erreichbar.
Leider konnte der Hoster auch nicht weiterhelfen. Sie können keine Google IP-Adresse, welche geblockt wird, finden. Laut dem Hoster müsste man direkt bei Google erfragen, welche IP-Adresse versucht, hier zu crawlen…aber leider ist das ja nicht möglich.
Wie heißt denn der unfähige Hoster?
Eine Liste aller Google IP-Adressen findet sich übrigens hier:
https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=de#automatic (JSON-Format)
Alfahosting ist der Hosting-Anbieter…hierzu habe ich auch folgenden Antwort erhalten:
„eine generelle Blockierung nehmen wir nicht vor. Maximal greift hier die Firewall, aber diese hatten Sie testweise bereits deaktiviert.
Alles weitere hat mein Kollege bereits beantwortet. Wir können noch die IP prüfen, welche auf den Server zugreift, aber dafür brauchen wir auch die explizite IP-Adresse und den genauen Zeitpunkt.
Unsere Admins haben leider keine Kapazitäten sich die Dokumentation von Google anzusehen, es bedarf hier die konkrete IP.“
Unsere Admins haben leider keine Kapazitäten sich die Dokumentation von Google anzusehen
Was für eine Bankrott-Erklärung eines Dienstleisters. Insbesondere, wenn er den „echten Service“ so sehr als Marketing-Instrument nutzt wie dieser Hoster.
Das grenzt ja schon an Arbeitsverweigerung.
Wenn ich das richtig sehe, hast du SSH-Zugang (zumindest in den aktuellen Tarifen). Kennst du dich mit dem Terminal aus und traust dir zu dich da anzumelden und Befehle auszuführen?
Dann könntest du dich per SSH auf dem Server anmelden und dann einen traceroute zu Google versuchen. Dann wirst du vermutlich sehen, wo es hakt.
Um die IP herauszufinden (die du spaßeshalber auch dem Support geben kannst) wäre mein Tipp die Accesslogs zu suchen. Wenn du die hast, dann kannst du über einen Live-URL-Test (Zeitpunkt notieren!) und einen Blick in die Logs die anfragende Google-IP herausbekommen.
Wenn du von deinem Server aus einen ping bzw. einen traceroute auf die Google-IP machst, dann wirst du sehen, ob du dort auch ankommst oder wo es hakt. Und wenn ja, an welcher Stelle.
Beim Zeitpunkt ggf. prüfen, ob die Zeitzone mit drin ist in den Logs oder ob das UTC-Zeiten sind.
Viel Erfolg!
Gruß, Torsten
Ich würde auch empfehlen mal einen Blick in das Access-Log zu werfen. Dort sollten Zugriffe auch von GoogleBots zu erkennen sein. Dort kannst Du auch sehen, ob es Versuche gab die robots.txt aufzurufen – das kannst Du ggfs. auch zeitlich timen mit dem Request aus der Search Console.
Falls es Einträge im Access-Log von GoogleBots gibt, schau dir den HTTP-Status an der darin genannt wird. Wenn es ein 5xx (wie 500 oder 503) ist, dann liegt ein serverseitiger Fehler vor der im Error-Log genannt werden sollte.
Falls es im Access-Log keinerlei Einträge von GoogleBots gibt, spricht das dafür, dass irgendetwas vor deinem Hosting den Zugriff unterbindet. Da dein Hoster sich diesbezüglich quer stellt solltest Du dir den Wechsel zu einem anderen Hoster überlegen.
Ich glaube nicht, dass das Problem beim Hosters liegt, das dürfte eher ein Problem des Themes oder eines oder einiger eingesetzter Plugins sein.
Die Homepage besteht fast nur aus Javascript, mit dem der Inhalt nachgeladen wird. Das wird aber auf vielen Smartphones – u.a. auch auf den Google Pixel – nicht vernünftig ausgeführt, sodass ich dort nur einen Link auf die Startseite, einen weiteren Link auf die Fußballabteilung und 2 Symbolen für nicht geladene Grafiken besteht. Erst beim einem Klick auf den Link zur Fußballabteilung sieht man eine vernünftige Website.
Wenn man nun bedenkt, dass Google inzwischen ausschließlich mit einem Mobile-Bot crawlt, kann man sich ausdenken, was der Google-Bot zu sehen bekommt – und das ist jedenfalls nichts, was sich des Crawlens und der Aufnahme in den Suchindex lohnt.
Das Problem sollte zunächst einmal angegangen werden, dann dürfte es auch wieder mit der Indexierung von Google klappen.
Durch die robots.txt wurde die Website letztes Jahr blockiert….es hat jetzt nur mehr als 2 Monate gedauert bis Google die Seite wieder gecrawlt hat…danke für eure Hilfe
-
Diese Antwort wurde geändert vor 3 Monaten, 4 Wochen von
danyiel.
