Eine URLs wird durch robots.txt blockiert. Ich finde aber keine robots.txt?
-
Hallo,
Ich habe eine Meldung von Google erhalten, dass eine meiner URLs „Shop URL > https://meineSeite.de/shop…“ wird durch eine robots.txt Datei blockiert und nicht indexiert.
Ich finde aber auf meinem Server, Backend keine robots.txt Datei mit dem Befehl die URL nicht indexieren?!
Könnte mir bitte jemand helfen die Datei zu finden und den Befehl entfernen?
Vielen Dank.
Die Seite, für die ich Hilfe brauche: [Anmelden, um den Link zu sehen]
-
Die robots.txt liegt im Root-Verzeichnis von WordPress.
Um die robots.txt aufzurufen musst du einfach nur /robots.txt an deine Domain anhängen. Bei dir wird die Datei offenbar dynamisch durch das Yoast Plugin erzeugt, welches du nutzt. D.h. jegliche Eintragungen darin werden über Yoast gesteuert. Yoast hat dazu hier eine Hilfeseite: https://yoast.com/help/how-to-edit-robots-txt-through-yoast-seo/
Hier gibt es ein Testtool mit dem man analysieren kann, ob die robots.txt einen Zugriff blockiert: https://technicalseo.com/tools/robots-txt/ – habe das mal bei deiner Seite getestet und kann hier keine Blockierung erkennen. Somit würde ich drauf tippen, dass entweder Google dir eine veraltete Meldung anzeigt oder Google mal etwas falsch geladen hat (kann passieren). Ich würde dir daher empfehlen in der Google Search Console eine neue Prüfung durch Google zu initialisieren.
Danke.
Gibt es Software, Plugin das jede Veränderung im Backend, auf dem Server SFTP registriert?
Ich glaube bei mir spukt es im Backend.?!
Das sind 2 verschiedene Themen bei denen ich den Zusammenhang zu der Frage in diesem Topic hier nicht erkennen kann. Jegliche SFTP-Zugriffe werden normalerweise am Hosting protokolliert. Wenn du die einsehen willst, musst du den Support deines Hosters fragen. Fürs WordPress-Backend gibt es Plugins wie https://de.wordpress.org/plugins/wp-security-audit-log/ die alles aufzeichnen.
Danke.
Habe meine Sitemap aufgerufen mit https://www.meineSeite.de/sitemap_index.xml
Erhalte ein Fehler:
"Fehler beim Laden des Stylesheets: Ein unbekannter Fehler ist aufgetreten (805303f4)
https://meineSeite.de/wp-content/plugins/wordpress-seo/css/main-sitemap.xsl ".
Habe die Datei geöffnet und sehe hier das unten:
Das heißt Google versucht die Datei zu crawln?
Könntest du mir bitte die Datei entschlüsseln? Das ist eindeutig keine Sitemap Datei?!
<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet version="2.0"
xmlns:html="http://www.w3.org/TR/REC-html40"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"
xmlns:sitemap="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output method="html" version="1.0" encoding="UTF-8" indent="yes"/>
<xsl:template match="/">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>XML Sitemap</title>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<style type="text/css">
body {
font-family: Helvetica, Arial, sans-serif;
font-size: 13px;
color: #545353;
}
table {
border: none;
border-collapse: collapse;
}
#sitemap tr:nth-child(odd) td {
background-color: #eee !important;
}
#sitemap tbody tr:hover td {
background-color: #ccc;
}
#sitemap tbody tr:hover td, #sitemap tbody tr:hover td a {
color: #000;
}
#content {
margin: 0 auto;
width: 1000px;
}
.expl {
margin: 18px 3px;
line-height: 1.2em;
}
.expl a {
color: #da3114;
font-weight: 600;
}
.expl a:visited {
color: #da3114;
}
a {
color: #000;
text-decoration: none;
}
a:visited {
color: #777;
}
a:hover {
text-decoration: underline;
}
td {
font-size:11px;
}
th {
text-align:left;
padding-right:30px;
font-size:11px;
}
thead th {
border-bottom: 1px solid #000;
}
</style>
</head>
<body>
<div id="content">
<h1>XML Sitemap</h1>
<p class="expl">
Generated by <a href="https://yoa.st/1y5" target="_blank" rel="noopener">Yoast SEO</a>, this is an XML Sitemap, meant for consumption by search engines.<br/>
You can find more information about XML sitemaps on <a href="https://sitemaps.org" target="_blank" rel="noopener">sitemaps.org</a>.
</p>
<xsl:if test="count(sitemap:sitemapindex/sitemap:sitemap) > 0">
<p class="expl">
This XML Sitemap Index file contains <xsl:value-of select="count(sitemap:sitemapindex/sitemap:sitemap)"/> sitemaps.
</p>
<table id="sitemap" cellpadding="3">
<thead>
<tr>
<th width="75%">Sitemap</th>
<th width="25%">Last Modified</th>
</tr>
</thead>
<tbody>
<xsl:for-each select="sitemap:sitemapindex/sitemap:sitemap">
<xsl:variable name="sitemapURL">
<xsl:value-of select="sitemap:loc"/>
</xsl:variable>
<tr>
<td>
<a href="{$sitemapURL}"><xsl:value-of select="sitemap:loc"/></a>
</td>
<td>
<xsl:value-of select="concat(substring(sitemap:lastmod,0,11),concat(' ', substring(sitemap:lastmod,12,5)),concat(' ', substring(sitemap:lastmod,20,6)))"/>
</td>
</tr>
</xsl:for-each>
</tbody>
</table>
</xsl:if>
<xsl:if test="count(sitemap:sitemapindex/sitemap:sitemap) < 1">
<p class="expl">
This XML Sitemap contains <xsl:value-of select="count(sitemap:urlset/sitemap:url)"/> URLs.
</p>
<table id="sitemap" cellpadding="3">
<thead>
<tr>
<th width="80%">URL</th>
<th width="5%">Images</th>
<th title="Last Modification Time" width="15%">Last Mod.</th>
</tr>
</thead>
<tbody>
<xsl:variable name="lower" select="'abcdefghijklmnopqrstuvwxyz'"/>
<xsl:variable name="upper" select="'ABCDEFGHIJKLMNOPQRSTUVWXYZ'"/>
<xsl:for-each select="sitemap:urlset/sitemap:url">
<tr>
<td>
<xsl:variable name="itemURL">
<xsl:value-of select="sitemap:loc"/>
</xsl:variable>
<a href="{$itemURL}">
<xsl:value-of select="sitemap:loc"/>
</a>
</td>
<td>
<xsl:value-of select="count(image:image)"/>
</td>
<td>
<xsl:value-of select="concat(substring(sitemap:lastmod,0,11),concat(' ', substring(sitemap:lastmod,12,5)),concat(' ', substring(sitemap:lastmod,20,6)))"/>
</td>
</tr>
</xsl:for-each>
</tbody>
</table>
</xsl:if>
</div>
</body>
</html>
</xsl:template>
</xsl:stylesheet>Das ist eine sogenannte XSL-Datei. So wie CSS für die Style-Angaben zur Ausgabe im Browser zuständig ist, sind in der XSL-Datei Daten hinterlegt die definieren wie eine XML-Datei (in dem Fall die SitemapXML) formatiert sein sollen.
Die XSL_Datei selbst wird von dem von dir genutzten Yoast Plugin mitgeliefert. Sie ist bei mir nicht fehlerhaft sondern völlig in Ordnung. Wenn hier ein Fehler auftreten würde, wäre das jedoch für Google kein Hindernis um die XML-Datei einzulesen – Google interessiert sich nicht für das Styling der XML-Datei sondern für deren Inhalt.
Gefunden.
Eine NOINDEX Datei lies meine Sitemap nicht indexieren.
Danke.
Mir ist nicht bewusst, dass es dafür Dateien gibt. Kannst du das noch etwas genauer erläutern? Danke aber schonmal fürs gelöst markieren 🙂
Du musst angemeldet sein, um auf dieses Thema zu antworten.