Title: Robots.txt angeblich nicht erreichbar Last modified: 1. Juli 2024 --- # Robots.txt angeblich nicht erreichbar * Gelöst [moinjdrk](https://de.wordpress.org/support/users/moinjdrk/) * (@moinjdrk) * [vor 2 Jahren, 3 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/) * Moin Leute, * ich benötige Hilfe. * Die Google Search Console sagt, dass ein Crawling unserer Webseite nicht möglich sei, da die Robots.txt nicht erreichbar ist. * ```wp-block-code CrawlingZeit01.07.2024, 08:04:11Gecrawlt überGoogle-Prüftool (Smartphone)Crawling erlaubt?JaSeitenabruferrorFehler: Robots.txt nicht erreichbarIndexierung zulässig?Nicht zutreffend ``` * Extern habe ich die Seite nochmal überprüft: * [https://technicalseo.com/tools/robots-txt/](https://technicalseo.com/tools/robots-txt/)– hier scheint alles ok /allowed * [https://de.ryte.com/website-checker/](https://de.ryte.com/website-checker/) – hier „ist indexierbar“ „none“ * Die Webseite war lange korrekt indexiert – aufgefallen ist es mir, als Google plötzlich anfing im Rahmen einer Kampagne „Richlinienverstöße“ wegen einer „nicht erreichbaren URL“ auszugeben – selbstverständlich habe ich alles 3x mal auf Tippfehler u.s.w geprüft. Ja, ich habe die Webseite umstrukturiert – aber warum es deswegen nicht mehr gehen sollte ist mir völlig unklar. * Wäre mega, wenn sich das jemand mal angucken würde, der sich damit auskennt. * Ich danke euch für euer Engagement und eure Geduld! * ```wp-block-code ` wp-coreversion: 6.5.5site_language: de_DEuser_language: de_DEtimezone: Europe/Berlinpermalink: /%postname%/https_status: truemultisite: falseuser_registration: 0blog_public: 1default_comment_status: openenvironment_type: productionuser_count: 2dotorg_communication: true wp-paths-sizeswordpress_path: /home/jleisman/new.medizin-und-didaktik.dewordpress_size: 193,47 MB (202865825 bytes)uploads_path: /home/jleisman/new.medizin-und-didaktik.de/wp-content/uploadsuploads_size: 144,51 MB (151527587 bytes)themes_path: /home/jleisman/new.medizin-und-didaktik.de/wp-content/themesthemes_size: 18,68 MB (19585811 bytes)plugins_path: /home/jleisman/new.medizin-und-didaktik.de/wp-content/pluginsplugins_size: 233,66 MB (245009215 bytes)database_size: 123,52 MB (129515520 bytes)total_size: 713,83 MB (748503958 bytes) wp-dropins (4)advanced-cache.php: truedb.php: truemaintenance.php: trueobject-cache.php: true wp-active-themename: Hello Elementor (hello-elementor)version: 3.1.0author: Elementor Teamauthor_website: https://elementor.com/?utm_source=wp-themes&utm_campaign=author-uri&utm_medium=wp-dashparent_theme: nonetheme_features: core-block-patterns, widgets-block-editor, menus, post-thumbnails, automatic-feed-links, title-tag, html5, custom-logo, editor-style, align-wide, woocommerce, wc-product-gallery-zoom, wc-product-gallery-lightbox, wc-product-gallery-slidertheme_path: /home/jleisman/new.medizin-und-didaktik.de/wp-content/themes/hello-elementorauto_update: Deaktiviert wp-mu-plugins (1)burst_rest_api_optimizer.php: author: (undefined), version: (undefined) wp-plugins-active (14)Complianz - Terms and Conditions: version: 1.2.8, author: Really Simple Plugins, Automatische Aktualisierungen deaktiviertComplianz Privacy Suite (GDPR/CCPA) premium: version: 7.1.1, author: Really Simple Plugins, Automatische Aktualisierungen deaktiviertElementor: version: 3.22.3, author: Elementor.com, Automatische Aktualisierungen deaktiviertElementor Pro: version: 3.22.1, author: Elementor.com, Automatische Aktualisierungen deaktiviertKutego: version: 1.0, author: Kutego, Automatische Aktualisierungen deaktiviertLocal Google Fonts: version: 0.22.0, author: EverPress, Automatische Aktualisierungen deaktiviertRank Math SEO: version: 1.0.222, author: Rank Math, Automatische Aktualisierungen aktiviertRank Math SEO PRO: version: 3.0.65, author: Rank Math, Automatische Aktualisierungen deaktiviertReally Simple SSL Shell Add on: version: 2.0.0, author: Really Simple Plugins, Automatische Aktualisierungen deaktiviertSite Kit by Google: version: 1.129.1, author: Google, Automatische Aktualisierungen aktiviertSVG Support: version: 2.5.5, author: Benbodhi, Automatische Aktualisierungen deaktiviertUpdraftPlus - Backup/Restore: version: 1.24.3, author: UpdraftPlus.Com, DavidAnderson, Automatische Aktualisierungen deaktiviertW3 Total Cache: version: 2.7.3, author: BoldGrid, Automatische Aktualisierungen deaktiviertWP Consent API: version: 1.0.7, author: RogierLankhorst, Automatische Aktualisierungen deaktiviert wp-plugins-inactive (6)AMP: version: 2.5.3, author: AMP Project Contributors, Automatische Aktualisierungen deaktiviertBurst Statistics - Privacy-Friendly Analytics for WordPress: version: 1.6.1, author: Burst Statistics B.V., Automatische Aktualisierungen deaktiviertImage Optimizer by Elementor – Compress, Resize and Optimize Images: version: 1.4.0, author: Elementor.com, Automatische Aktualisierungen deaktiviertMy Private Site: version: 3.1.0, author: David Gewirtz, Automatische Aktualisierungen deaktiviertReally Simple SSL: version: 8.1.5, author: Really Simple Plugins, Automatische Aktualisierungen deaktiviertYoast Duplicate Post: version: 4.5, author: Enrico Battocchi & Team Yoast, Automatische Aktualisierungen deaktiviert wp-mediaimage_editor: WP_Image_Editor_GDimagick_module_version: Nicht verfügbarimagemagick_version: Nicht verfügbarimagick_version: Nicht verfügbarfile_uploads: 1post_max_size: 64Mupload_max_filesize: 32Mmax_effective_size: 32 MBmax_file_uploads: 20gd_version: 2.3.3gd_formats: GIF, JPEG, PNG, WebP, BMP, XPMghostscript_version: 9.54.0 wp-serverserver_architecture: Linux 5.14.0-427.18.1.el9_4.x86_64 x86_64httpd_software: LiteSpeedphp_version: 7.4.33 64bitphp_sapi: litespeedmax_input_variables: 1000time_limit: 600memory_limit: 256Mmax_input_time: 300upload_max_filesize: 32Mphp_post_max_size: 64Mcurl_version: 7.76.1 OpenSSL/3.0.7suhosin: falseimagick_availability: falsepretty_permalinks: truehtaccess_extra_rules: truecurrent: 2024-07-01T06:26:31+00:00utc-time: Monday, 01-Jul-24 06:26:31 UTCserver-time: 2024-07-01T08:26:29+02:00 wp-databaseextension: mysqliserver_version: 8.0.37-cll-lveclient_version: 8.0.31max_allowed_packet: 268435456max_connections: 1000 wp-constantsWP_HOME: undefinedWP_SITEURL: undefinedWP_CONTENT_DIR: /home/jleisman/new.medizin-und-didaktik.de/wp-contentWP_PLUGIN_DIR: /home/jleisman/new.medizin-und-didaktik.de/wp-content/pluginsWP_MEMORY_LIMIT: 40MWP_MAX_MEMORY_LIMIT: 256MWP_DEBUG: falseWP_DEBUG_DISPLAY: trueWP_DEBUG_LOG: falseSCRIPT_DEBUG: falseWP_CACHE: trueCONCATENATE_SCRIPTS: undefinedCOMPRESS_SCRIPTS: undefinedCOMPRESS_CSS: undefinedWP_ENVIRONMENT_TYPE: Nicht definiertWP_DEVELOPMENT_MODE: undefinedDB_CHARSET: utf8DB_COLLATE: undefined wp-filesystemwordpress: writablewp-content: writableuploads: writableplugins: writablethemes: writablemu-plugins: writable google-site-kitversion: 1.129.1php_version: 7.4.33wp_version: 6.5.5reference_url: https://www.medizin-und-didaktik.deamp_mode: nosite_status: connected-siteuser_status: authenticatedverification_status: verified-non-site-kitconnected_user_count: 1active_modules: site-verification, search-console, ads, analytics-4, pagespeed-insightsrecoverable_modules: nonerequired_scopes:openid: ✅https://www.googleapis.com/auth/userinfo.profile: ✅https://www.googleapis.com/auth/userinfo.email: ✅https://www.googleapis.com/auth/siteverification: ✅https://www.googleapis.com/auth/webmasters: ✅https://www.googleapis.com/auth/analytics.readonly: ✅https://www.googleapis.com/auth/tagmanager.readonly: ✅capabilities:googlesitekit_authenticate: ✅googlesitekit_setup: ✅googlesitekit_view_posts_insights: ✅googlesitekit_view_dashboard: ✅googlesitekit_manage_options: ✅googlesitekit_update_plugins: ✅googlesitekit_view_splash: ✅googlesitekit_view_authenticated_dashboard: ✅googlesitekit_view_wp_dashboard_widget: ✅googlesitekit_view_admin_bar_menu: ✅googlesitekit_view_shared_dashboard: ⭕googlesitekit_read_shared_module_data::["search-console"]: ⭕googlesitekit_read_shared_module_data::["analytics-4"]: ⭕googlesitekit_read_shared_module_data::["pagespeed-insights"]: ⭕googlesitekit_manage_module_sharing_options::["search-console"]: ✅googlesitekit_manage_module_sharing_options::["analytics-4"]: ✅googlesitekit_manage_module_sharing_options::["pagespeed-insights"]: ✅googlesitekit_delegate_module_sharing_management::["search-console"]: ✅googlesitekit_delegate_module_sharing_management::["analytics-4"]: ✅googlesitekit_delegate_module_sharing_management::["pagespeed-insights"]: ⭕enabled_features:adsPax: ⭕audienceSegmentation: ⭕consentModeSwitzerland: ⭕conversionInfra: ⭕gm3Components: ⭕rrmModule: ⭕consent_mode: enabledconsent_api: detectedsearch-console_shared_roles: nonesearch-console_management: owneranalytics-4_shared_roles: noneanalytics-4_management: ownerpagespeed-insights_shared_roles: nonepagespeed-insights_management: all_adminssearch_console_property: https://www.medizin-und-didaktik.de/ads_conversion_tracking_id: noneanalytics_4_account_id: 1966•••••analytics_4_property_id: 3792639••analytics_4_web_data_stream_id: 5286••••••analytics_4_measurement_id: G-S7••••••••analytics_4_use_snippet: yesanalytics_4_ads_conversion_id: noneanalytics_4_available_custom_dimensions: noneanalytics_4_ads_linked: trueanalytics_4_ads_linked_last_synced_at: 1719729348 ``` * Die Seite, für die ich Hilfe brauche: _[[Anmelden](https://login.wordpress.org/?redirect_to=https%3A%2F%2Fde.wordpress.org%2Fsupport%2Ftopic%2Frobots-txt-angeblich-nicht-erreichbar%2F%3Foutput_format%3Dmd&locale=de_DE), um den Link zu sehen]_ Ansicht von 8 Antworten – 1 bis 8 (von insgesamt 8) * Moderator [Bego Mario Garde](https://de.wordpress.org/support/users/pixolin/) * (@pixolin) * Moderator (nicht mehr aktiv) * [vor 2 Jahren, 3 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161134) * Die ganzen Online-Checker sind immer mit ein wenig Abstand zu betrachten. Ich verlasse mich lieber auf eine eigene Prüfung und sehe, dass ich `https://www. med...tik.de/robots.txt` (Domain anonymisiert) ohne Fehlermeldungen aufrufen kann. * Im Quelltext der Startseite steht * ```wp-block-code ``` * … womit eine Indexierung funktionieren sollte. Tut sie ja auch. Wäre die Indexierung der kompletten Website nicht möglich, würde die Website auch nicht bei Google auftauchen – tut sie aber. * Zur kostenpflichtigen Version deines SEO-Plugins RankMath SEO Pro können wir hier nicht weiterhelfen. Vielleicht gibt es da noch Einstellungen, die du optimieren kannst. Wende dich bei Fragen dazu bitte an den Entwickler. * [hupe13](https://de.wordpress.org/support/users/hupe13/) * (@hupe13) * [vor 2 Jahren, 3 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161140) * > ```wp-block-code > Fehler: Robots.txt nicht erreichbar > ``` > * Woher kommt das große „R“? * Themenersteller [moinjdrk](https://de.wordpress.org/support/users/moinjdrk/) * (@moinjdrk) * [vor 2 Jahren, 3 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161142) * Unachtsamkeit beim Erstellen des Beitrags hier. * Themenersteller [moinjdrk](https://de.wordpress.org/support/users/moinjdrk/) * (@moinjdrk) * [vor 2 Jahren, 3 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161179) * Leider ist das Thema immer noch nicht abschließend für mich geklärt. Der Hoster sagt er habe alles durchgeprüft und es gäbe kein Problem. Der SEO-Anbieter Rank- Math sagt auch, dass alles funktioniert wie es soll. Anfrage an Google selbst ist raus. * Hat jemand noch eine Idee? ggf. konzentriert sich der Fehler auf Android-Smartphones– zumindest habe ich das irgendwo flüchtig gelesen… * Freue mich auf weiteren Input. 🙂 * Moderator [threadi](https://de.wordpress.org/support/users/threadi/) * (@threadi) * [vor 2 Jahren, 3 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161299) * Lass die Google Search Console das Problem nochmal prüfen. Kann ggfs. einige Tage dauern. Vermutlich siehst Du keine Live-Daten sondern irgendetwas veraltetes. * Moderator [Torsten Landsiedel](https://de.wordpress.org/support/users/zodiac1978/) * (@zodiac1978) * [vor 2 Jahren, 3 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161332) * Wenn Google Search Console weiterhin behauptet, dass kein Abruf möglich ist, dann kann es auch ein Problem zwischen Hoster und Google sein. Strato war mal auf der (temporären) Blocklist gelandet (oder umgekehrt?). Dann wurden alle Anfragen von der Google Search Console zu Strato geblockt. * Das würde erklären, dass ein lokaler Aufruf möglich ist, aber Google sich weigert. * Ebenfalls selten aber möglich: Durch eine Firewall/Security-Einstellung wurde Google ausgesperrt. Einfach mal beim Hoster nachfragen bzw. eigene Einstellungen prüfen. * Aber mein erster Versuch wäre auch der Live-Check in GSC, wie von [@threadi](https://de.wordpress.org/support/users/threadi/) vorgeschlagen. * Themenersteller [moinjdrk](https://de.wordpress.org/support/users/moinjdrk/) * (@moinjdrk) * [vor 2 Jahren, 2 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161492) * Moin Leute, * ich konnte schlussendlich das Problem nur lösen in dem ich manuell eine robots. txt erstellt und ins root geladen habe. Aus irgendeinem Grund hat Google die durch das SEO-Plugin verwaltete robots.txt nicht erkannt. Nun habe ich eine robots. txt in quasi gleichem Inhalt. Die Sitemap wird weiterhin zuverlässig von RankMath konfiguriert. * Der Fehler kam aus dem Nichts. Ich bin diesbezüglich weiter ratlos, aber natürlich froh eine Lösung gefunden zu haben. Dank für eure aller Hilfe. * Beste Grüße! * Themenersteller [moinjdrk](https://de.wordpress.org/support/users/moinjdrk/) * (@moinjdrk) * [vor 2 Jahren, 2 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161493) * Damit würde ich es mal als gelöst markieren? Ansicht von 8 Antworten – 1 bis 8 (von insgesamt 8) Das Thema „Robots.txt angeblich nicht erreichbar“ ist für neue Antworten geschlossen. * In: [Allgemeine Fragen](https://de.wordpress.org/support/forum/allgemeine-fragen/) * 8 Antworten * 5 Teilnehmer * Letzte Antwort von: [moinjdrk](https://de.wordpress.org/support/users/moinjdrk/) * Letzte Aktivität: [vor 2 Jahren, 2 Monaten](https://de.wordpress.org/support/topic/robots-txt-angeblich-nicht-erreichbar/#post-161493) * Status: gelöst ## Themen ### Beliebteste Themen ### Unbeantwortete Themen ### Nicht-Support-Themen ### Gelöste Themen ### Ungelöste Themen ### Alle Themen