Support » Allgemeine Fragen » Webseite erscheint nicht in den Google-Suchergebnissen

  • Gelöst danyiel

    (@danyiel)


    Mir ist kürzlich aufgefallen, dass meine Webseite https://sportunion-anras.com nicht in den Google-Suchergebnissen erscheint. Sie war zuvor indexiert und rangierte für Schlüsselbegriffe (Sportunion Anras, Tennisplätze Anras usw.), aber seit einigen Wochen ist sie aus den Suchergebnissen verschwunden und wird nicht mehr auf Google indexiert.

    Hier ist, was ich bisher bereits versucht habe, um das Problem zu lösen:

    • Ich habe überprüft, dass meine Webseite noch online ist und es keine Unterbrechungen beim Hosting gab.
    • Ich habe die Google Search Console auf manuelle Maßnahmen oder Sicherheitsprobleme hin überprüft – es erscheint stets die Fehlermeldung: Fehler: Robots.txt nicht erreichbar -> obwohl sie verfügbar ist unter https://sportunion-anras.com/robots.txt
    • Ich habe die robots.txt-Datei überprüft.
    • Ich habe meine Sitemap erneut über die Google Search Console eingereicht, aber es gab keine Änderung beim Indexierungsstatus.
    • Ich habe sichergestellt, dass meine robots.txt-Datei es dem Googlebot erlaubt, meine Seite zu crawlen.
    • Ich habe vorübergehend alle Plugins deaktiviert, um auf Konflikte zu prüfen, die die Sichtbarkeit beeinträchtigen könnten.
    • Ich habe die .htaccess-Datei neu generiert, um sicherzustellen, dass es keine Fehlkonfigurationen gibt, die das Problem verursachen könnten.
    • Ich habe einen Malware-Scan auf der Webseite durchgeführt, um Sicherheitsbedrohungen auszuschließen.
    • Ich habe die Firewall des Servers vorübergehend deaktiviert, um sicherzustellen, dass sie die Suchmaschinenbots nicht blockiert.

    Ich habe kürzlich keine größeren Änderungen am Inhalt oder an der Struktur meiner Webseite vorgenommen, die diese Änderung erklären könnten. Ich suche nach Anleitung, welche Schritte ich als Nächstes unternehmen kann, um dieses Problem zu beheben und meine Webseite wieder in den Suchergebnissen erscheinen zu lassen.

    Was kann ich tun, um dieses Problem zu lösen?

    Ich freue mich auf jede Hilfe.

    Die Seite, für die ich Hilfe brauche: [Anmelden, um den Link zu sehen]

Ansicht von 10 Antworten - 1 bis 10 (von insgesamt 10)
  • Die Website scheint noch recht jung zu sein? Sie enthält auf zwei Seiten noch Blindtexte. Der Inhalt der Startseite besteht außerdem aus wenig Informationen, die von einer Suchmaschine dringend indexiert werden sollten – hier gibt es sicher noch Spielraum zur Optimierung, da die Startseite am stärksten gewichtet wird.

    In der Search Console kannst du zwar durch Einreichen einer Sitemap ein erneutes Crawling anfragen, wann der Bot die Webseite tatsächlich abruft, lässt sich aber nicht beeinflussen.

    Da du scheinbar ein Sicherheits-Plugin nutzt (der Website-Bericht wurde leider auch hier nicht mitgeliefert), könnte auch eine zu restriktive Absicherung der Website die Ursache sein, dass die Seiten nicht indexiert werden.

    Ich habe die Google Search Console auf manuelle Maßnahmen oder Sicherheitsprobleme hin überprüft – es erscheint stets die Fehlermeldung: Fehler: Robots.txt nicht erreichbar

    Hast du mal einen Check der Live-URL angestoßen? Klappt es dann?

    Falls nicht: Wir hatten mal ein ähnliches Problem, da hatte der Hoster die Google IP-Adresse geblockt und so den Googlebot ausgeschlossen. Lässt sich schwer herausbekommen, weil nur wenige SSH-Zugang zum Server haben. Aber vielleicht kann der Hoster-Support dann helfen.

    Noch was anderes: Vielleicht möchtest du das hier noch aus der Sitemap entfernen:
    https://sportunion-anras.com/elementor-hf-sitemap.xml

    Die beiden Einträge leiten eh auf die Startseite und werden nur intern von Elementor Header & Footer o.ä. genutzt. Kann also in Yoast für die Sitemap deaktiviert werden.

    Gruß, Torsten

    Thread-Starter danyiel

    (@danyiel)

    Vielen Dank für Eure Antworten.

    Auch beim Live-Url Test kommt immer die Fehlermeldung Fehler: Robots.txt nicht erreichbar.

    Leider konnte der Hoster auch nicht weiterhelfen. Sie können keine Google IP-Adresse, welche geblockt wird, finden. Laut dem Hoster müsste man direkt bei Google erfragen, welche IP-Adresse versucht, hier zu crawlen…aber leider ist das ja nicht möglich.

    Wie heißt denn der unfähige Hoster?

    Eine Liste aller Google IP-Adressen findet sich übrigens hier:
    https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=de#automatic (JSON-Format)

    Thread-Starter danyiel

    (@danyiel)

    Alfahosting ist der Hosting-Anbieter…hierzu habe ich auch folgenden Antwort erhalten:

    „eine generelle Blockierung nehmen wir nicht vor. Maximal greift hier die Firewall, aber diese hatten Sie testweise bereits deaktiviert.

    Alles weitere hat mein Kollege bereits beantwortet. Wir können noch die IP prüfen, welche auf den Server zugreift, aber dafür brauchen wir auch die explizite IP-Adresse und den genauen Zeitpunkt.

    Unsere Admins haben leider keine Kapazitäten sich die Dokumentation von Google anzusehen, es bedarf hier die konkrete IP.“

    Unsere Admins haben leider keine Kapazitäten sich die Dokumentation von Google anzusehen

    Was für eine Bankrott-Erklärung eines Dienstleisters. Insbesondere, wenn er den „echten Service“ so sehr als Marketing-Instrument nutzt wie dieser Hoster.

    Das grenzt ja schon an Arbeitsverweigerung.

    Wenn ich das richtig sehe, hast du SSH-Zugang (zumindest in den aktuellen Tarifen). Kennst du dich mit dem Terminal aus und traust dir zu dich da anzumelden und Befehle auszuführen?

    Dann könntest du dich per SSH auf dem Server anmelden und dann einen traceroute zu Google versuchen. Dann wirst du vermutlich sehen, wo es hakt.

    Um die IP herauszufinden (die du spaßeshalber auch dem Support geben kannst) wäre mein Tipp die Accesslogs zu suchen. Wenn du die hast, dann kannst du über einen Live-URL-Test (Zeitpunkt notieren!) und einen Blick in die Logs die anfragende Google-IP herausbekommen.

    Wenn du von deinem Server aus einen ping bzw. einen traceroute auf die Google-IP machst, dann wirst du sehen, ob du dort auch ankommst oder wo es hakt. Und wenn ja, an welcher Stelle.

    Beim Zeitpunkt ggf. prüfen, ob die Zeitzone mit drin ist in den Logs oder ob das UTC-Zeiten sind.

    Viel Erfolg!

    Gruß, Torsten

    Ich würde auch empfehlen mal einen Blick in das Access-Log zu werfen. Dort sollten Zugriffe auch von GoogleBots zu erkennen sein. Dort kannst Du auch sehen, ob es Versuche gab die robots.txt aufzurufen – das kannst Du ggfs. auch zeitlich timen mit dem Request aus der Search Console.

    Falls es Einträge im Access-Log von GoogleBots gibt, schau dir den HTTP-Status an der darin genannt wird. Wenn es ein 5xx (wie 500 oder 503) ist, dann liegt ein serverseitiger Fehler vor der im Error-Log genannt werden sollte.

    Falls es im Access-Log keinerlei Einträge von GoogleBots gibt, spricht das dafür, dass irgendetwas vor deinem Hosting den Zugriff unterbindet. Da dein Hoster sich diesbezüglich quer stellt solltest Du dir den Wechsel zu einem anderen Hoster überlegen.

    Moderator PraetorIM

    (@praetorim)

    Ich glaube nicht, dass das Problem beim Hosters liegt, das dürfte eher ein Problem des Themes oder eines oder einiger eingesetzter Plugins sein.

    Die Homepage besteht fast nur aus Javascript, mit dem der Inhalt nachgeladen wird. Das wird aber auf vielen Smartphones – u.a. auch auf den Google Pixel – nicht vernünftig ausgeführt, sodass ich dort nur einen Link auf die Startseite, einen weiteren Link auf die Fußballabteilung und 2 Symbolen für nicht geladene Grafiken besteht. Erst beim einem Klick auf den Link zur Fußballabteilung sieht man eine vernünftige Website.

    Wenn man nun bedenkt, dass Google inzwischen ausschließlich mit einem Mobile-Bot crawlt, kann man sich ausdenken, was der Google-Bot zu sehen bekommt – und das ist jedenfalls nichts, was sich des Crawlens und der Aufnahme in den Suchindex lohnt.

    Das Problem sollte zunächst einmal angegangen werden, dann dürfte es auch wieder mit der Indexierung von Google klappen.

    Thread-Starter danyiel

    (@danyiel)

    Durch die robots.txt wurde die Website letztes Jahr blockiert….es hat jetzt nur mehr als 2 Monate gedauert bis Google die Seite wieder gecrawlt hat…danke für eure Hilfe

    • Diese Antwort wurde geändert vor 5 Tage, 19 Stunden von danyiel.
Ansicht von 10 Antworten - 1 bis 10 (von insgesamt 10)