Litespeed Plugin erzeugt ständig eine robot.txt Nicht crawln?!

  • Gelöst bolzen10

    (@bolzen10)


    vor 3 Wochen, 4 Tage

    Hallo,

    Mein Litespeed Plugin erzeugt ständig eine robot.txt Datei mit dem Befehl: User-agent: *

    Disallow: /. Also nichts crawln.

    Pfad /wp-content/litespeed/robots.txt

    Meine Frage ist: ist es normal, dass der Plugin verbietet selbstständig meine Seite zu crawln?

    Wie kann ich es abstellen? Und wo befindet sich diese Regelung?

    Vielen Dank.

    Die Seite, für die ich Hilfe brauche: [Anmelden, um den Link zu sehen]

Ansicht von 4 Antworten – 1 bis 4 (von insgesamt 4)
  • Moderator threadi

    (@threadi)

    vor 3 Wochen, 4 Tage

    Die robots.txt-Datei muss direkt unter deiner Domain liegen. Wenn irgendeine in irgendeinem Pfad liegt, wird sie von Suchmaschinen ignoriert. Die robots.txt die direkt unter deiner Domain erreichbar ist, ist völlig in Ordnung.

    Thread-Starter bolzen10

    (@bolzen10)

    vor 3 Wochen, 4 Tage

    1. Wie wird die Datei im Litespeed Plugin erstellt?

    2. Also kann ich die robots.txt unter dem Plugin einfach ignorieren?

    Moderator threadi

    (@threadi)

    vor 3 Wochen, 4 Tage

    Ja, die kannst du ignorieren – die spielt keinerlei Rolle. Warum und wieso sie da überhaupt erstellt wird, musst du den Plugin-Support fragen.

    Thread-Starter bolzen10

    (@bolzen10)

    vor 3 Wochen, 3 Tage

    Lösung:

    Das war beabsichtigt.

    Die robots.txt-Datei verhindert, dass Suchmaschinen die von LiteSpeed ​​generierten CSS/JS-Cache-Dateien durchsuchen. Diese werden für die Indexierung nicht benötigt. Dadurch werden unnötige Crawls reduziert und die Bots auf die Inhalte Ihrer Website fokussiert.

Ansicht von 4 Antworten – 1 bis 4 (von insgesamt 4)

Du musst angemeldet sein, um auf dieses Thema zu antworten.