Support » Allgemeine Fragen » Website konnte nicht gecrawlt werden, da kein Zugriff auf die robots.txt – Date

Website konnte nicht gecrawlt werden, da kein Zugriff auf die robots.txt – Date

  • Gelöst steinbruch1947

    (@steinbruch1947)


    vor 8 Jahren, 2 Monaten

    Hallo zusammen.
    Ich bitte euch um Hilfe. Drei screenshots, die ich in dieses Nachrichtenfeld nicht unterbringen kann, dokumentieren das Problem. Ich hab es abgeschrieben:

    Ihre website konnte nicht gecrawlt werden, da wir nicht auf die robots.txt – Datei zugreifen konnten.

    Unter Google Search console steht:
    Eine wichtige Seite wird durch robots.txt blockiert.

    Search Console – Hilfe:
    Robots-Abruffehler
    Bevor der Google bot Ihre Website crawlt, greift er auf ihre robots Datei zu, um herauszufinden, ob ihre Website verhindert, dass Google Seiten oder URLs crawlt. Wenn Ihre robots Datei vorhanden ist, aber nicht erreichbar ist, d.h. wenn kein HTTP-Statuscode 200 oder 404 zurückgegeben wird, verschieben wir unser Crawling, da wir keine nicht zugelassene URLs crawlen. Sobald der Zugriff auf robots.txt – Datei möglich ist, wird ihre Website erneut von Google besucht und gecrawlt.
    Vergewissern Sie sich, dass Google auf robots.txt zugreifen kann. Es ist jedoch möglich, dass wir beim Versuch, robots.txt – Datei abzurufen, eine 5xx-Fehlermeldung (unerreichbar) erhalten.
    Vergewissern Sie sich, dass Ihr Hostanbieter Google bot nicht blockiert. Wenn Sie eine Firewall verwenden, sollten Sie sicherstellen, dass diese Google nicht blockiert.

    Die robots.txt – Datei ist vorhanden.
    Host Europe teilte auf Anfrage mit, Google nicht zu blockieren.

    Was bedeutet das, wenn nicht gecrawlt wird?
    Was muss ich machen, um das Problem zu beheben?

    Vielen Dank im Voraus für eure Mithilfe.
    Gruß Rainer

Ansicht von 6 Antworten - 1 bis 6 (von insgesamt 6)
  • Moderator Bego Mario Garde

    (@pixolin)

    vor 8 Jahren, 2 Monaten

    Hallo Rainer,

    Screenshots sind hier tatsächlich nicht möglich, aber du kannst hier z.B. den Link zu einem via imgur.com geteilten Bild einfügen. Erspart dir vielleicht demnächst das Tippen? Das nur vorab …

    Du schreibst, eine robots.txt sei vorhanden. Was steht denn da drin? Was passiert, wenn du die Datei umbenennst und in den Google Webmaster Tools einen neuen Abruf durch Google anstößt? (Findest du unter Crawling > Abruf wie durch Google)

    Es kann auch sein, dass du bei der Installation oder durch eine spätere Einstellung Suchmaschinen die Indexierung verboten hast. Schau doch mal unter Einstellungen > Lesen, ob da ein Häkchen gesetzt ist.

    Wenn nicht gecrawlt wird (damit ist der Abruf und die Auswertung deiner Website durch die Maschinen von Google gemeint), werden deine Webseiten auch nicht in den Suchergebnissen von Google berücksichtigt.

    Moderator Torsten Landsiedel

    (@zodiac1978)

    vor 8 Jahren, 2 Monaten

    Es kann auch sein, dass du bei der Installation oder durch eine spätere Einstellung Suchmaschinen die Indexierung verboten hast. Schau doch mal unter Einstellungen > Lesen, ob da ein Häkchen gesetzt ist.

    Das dürfte der Fall sein, wenn ich mir die robots.txt anschaue. Das ist der Inhalt:

    User-agent: *
Disallow: /

    Alle User-Agents werden ausgesperrt.

    Gruß, Torsten

    Thread-Starter steinbruch1947

    (@steinbruch1947)

    vor 8 Jahren, 2 Monaten

    Hallo Torsten, hallo Bego Mario,
    unter Einstellungen > Lesen, ist neben
    Sichtbarkeit für Suchmaschinen
    in dem Kästchen links neben
    Suchmaschinen davon abhalten, diese Website zu indexieren
    ein Häkchen gesetzt.

    Wenn ich euch richtig verstanden habe, muss das Häkchen entfernt werden. Hab ich gemacht.-
    Dann müßte nun die Google-Suche funktionieren?
    Gruß Rainer

    Moderator Bego Mario Garde

    (@pixolin)

    vor 8 Jahren, 2 Monaten

    Ja. 🙂

    Thread-Starter steinbruch1947

    (@steinbruch1947)

    vor 8 Jahren, 2 Monaten

    You (I) can get it if you (I) really want but you (I) must try try and try you’(I‘)ll succeed at last…
    ….Vielen Dank, Torsten und Bego Mario.
    http://www.youtube.com/watch?v=18EAqHx2lMk

    Rainer

    sara1980

    (@sara1980)

    vor 8 Jahren, 2 Monaten

    oh, das ist toll – dieses Problem hatte ich nämlich auch entdeckt am Wochenende. Danke !! 🙂

Ansicht von 6 Antworten - 1 bis 6 (von insgesamt 6)
  • Das Thema „Website konnte nicht gecrawlt werden, da kein Zugriff auf die robots.txt – Date“ ist für neue Antworten geschlossen.

Themen-Schlagwörter

Ansichten