Was bedeuten Befehle in meiner robots.txt Datei?
-
Hallo an Alle,
Könnte mir bitte einer erläutern, was die Befehle in meiner robot.txt Datei bedeuten?
Die Befehle bedeuten doch was gecrawelt werden darf und was nicht?
Wenn ja, welche Seiten sind von dem Craweln ausgeschlossen?
Lg.
User-agent: *
Disallow: /widerruf
Disallow: /widerrufsbelehrung
Disallow: /agb
Disallow: /datenschutz
Disallow: /impressum
Disallow: /meine Seite-impressum
Disallow: /meine Seite-brillenreiniger-datenschutz
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /wp-content/uploads/wc-logs/
Disallow: /wp-content/uploads/woocommerce_transient_files/
Disallow: /wp-content/uploads/woocommerce_uploads/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php START YOAST BLOCK ---------------------------
User-agent: *
Disallow: /?s=
Disallow: /page/*/?s=
Disallow: /search/
Disallow: /wp-json/
Disallow: /?rest_route=
User-agent: AdsBot
Disallow: /
Sitemap: https://meine Seite.de/sitemap_index.xml --------------------------- END YOAST BLOCKDie Seite, für die ich Hilfe brauche: [Anmelden, um den Link zu sehen]
Ansicht von 3 Antworten – 1 bis 3 (von insgesamt 3)
Ansicht von 3 Antworten – 1 bis 3 (von insgesamt 3)
- Du musst angemeldet sein, um auf dieses Thema zu antworten.