Eine XML-Sitemap ist eine Datei, die die URLs einer Website auflistet, um deren Erkundung durch die Crawler von Suchmaschinen zu erleichtern. Diese Datei auf einer Drittwebsite (oder auf der eigenen) zu lokalisieren, ermöglicht es, das Volumen der indexierbaren Seiten, die Aktualisierungsfrequenz und die technische Struktur einer Domain zu bewerten. Die Methoden, um darauf zuzugreifen, variieren je nach Serverkonfiguration und verwendetem CMS, und die URL der Sitemap ist nicht immer die, die man vermutet.
Robots.txt: die erste Datei, die man konsultieren sollte, um eine Sitemap zu lokalisieren
Die meisten Anleitungen empfehlen, direkt /sitemap.xml im Stammverzeichnis der Domain zu testen. Dieser Ansatz funktioniert oft, übersieht jedoch einen häufigen Fall: Die Sitemap wird nicht immer an diesem Ort gehostet. Einige Websites verwenden benutzerdefinierte Pfade, Unterverzeichnisse oder automatisch generierte Dateinamen durch ihr CMS.
Ebenfalls empfehlenswert : So finden Sie einfach die gesendeten Abonnementanfragen auf Instagram
Die Datei robots.txt, die unter votredomaine.com/robots.txt zugänglich ist, enthält eine oder mehrere Zeilen, die mit Sitemap: beginnen, gefolgt von der genauen URL. Diese Erklärung ist standardisiert und für alle Crawler lesbar. Sie bleibt die zuverlässigste Quelle, da sie widerspiegelt, was der Administrator der Website den Suchmaschinen erklärt hat.
Eine einzige robots.txt kann zudem auf mehrere Sitemaps verweisen, beispielsweise auf eine Hauptsitemap und eine Sitemap, die speziell für Bilder oder Videos gedacht ist. Zu versuchen, die URL zu erraten, ohne diese Datei zu konsultieren, bedeutet, eine bereits verfügbare Information zu ignorieren. Dort zu beginnen, ermöglicht es auch denjenigen, die die Sitemap von Hi Business finden möchten, in wenigen Sekunden zu überprüfen, ob die Sitemap öffentlich erklärt ist.
Auch interessant : Die unverzichtbaren Modetrends, die Sie für Ihr nächstes Online-Shopping entdecken sollten
Sitemap-Pfade je nach CMS: WordPress, Shopify, Wix und andere
Wenn robots.txt keine Sitemap erwähnt, gibt das CMS der Website einen wertvollen Hinweis. Jede Plattform generiert ihre Datei an einem Standardstandort, und diese Standorte unterscheiden sich erheblich.
- WordPress ohne SEO-Plugin: Seit den neuesten Versionen generiert WordPress eine native Sitemap, die unter
/wp-sitemap.xmlzugänglich ist. Wenn jedoch Yoast SEO oder Rank Math installiert ist, wird der Pfad oft zu/sitemap_index.xml. - Shopify platziert seine Sitemap systematisch unter
/sitemap.xml, aber die Datei ist ein Index, der auf Unter-Sitemaps (Produkte, Kollektionen, Seiten, Blogartikel) verweist. - Wix verwendet ebenfalls
/sitemap.xml, mit einer vergleichbaren Indexstruktur. Squarespace und Webflow folgen derselben Konvention. - Prestashop verwendet in mehreren gängigen Konfigurationen
/1_index_sitemap.xml, einen Pfad, den nur wenige SEO-Experten spontan testen.
Den CMS vor dem Testen von URLs zu identifizieren, vermeidet es, blind mehrere Versuche zu unternehmen. Tools wie BuiltWith oder Wappalyzer erkennen die Technologie einer Website in wenigen Sekunden.
Google Search Console und die Diskrepanz zwischen deklarierter Sitemap und berücksichtigter Sitemap
Für eine Website, die Ihnen gehört oder auf die Sie Administratorzugang haben, zeigt die Google Search Console die tatsächlich eingereichte Sitemap, ihren Verarbeitungsstatus und das Datum des letzten Besuchs des Crawlers an. Diese Information geht über die bloße Existenz der Datei hinaus.
Ein selten angesprochenes Thema: Die in der Search Console eingereichte Sitemap kann von der in robots.txt deklarierten abweichen. Eine alte Sitemap kann in robots.txt weiterhin referenziert werden, während eine neuere Version manuell über die Konsole eingereicht wurde. Das Gegenteil ist ebenfalls möglich, eine in robots.txt deklarierte Sitemap, die jedoch nie in der Search Console eingereicht wurde, was sie nicht daran hindert, von Googlebot gecrawlt zu werden, jedoch die Sichtbarkeit über ihre tatsächliche Verarbeitung verringert.
Bing Webmaster Tools bietet eine vergleichbare Funktion. Für ein umfassendes SEO-Audit ermöglicht das Abgleichen der beiden Quellen, Inkonsistenzen zwischen dem, was die Website ankündigt, und dem, was die Suchmaschinen tatsächlich verarbeiten, zu erkennen.
Was der Status der Sitemap offenbart
Die Search Console zeigt die Anzahl der im Sitemap erkannten URLs und die Anzahl der tatsächlich indexierten URLs an. Eine signifikante Diskrepanz zwischen diesen beiden Zahlen weist auf ein technisches Problem hin: Seiten mit Fehler 404, Schleifenweiterleitungen, widersprüchliche noindex-Tags mit der Präsenz in der Sitemap oder von Google als unzureichend bewerteter Inhalt.
Diese Diagnose ist von außen nicht möglich, wenn man nur die rohe XML-Datei betrachtet. Die Sitemap allein garantiert nichts über die tatsächliche Indexierung.
Automatisierte Sitemap-Entdeckungstools: Nutzen und Grenzen
Mehrere Online-Tools scannen automatisch robots.txt, testen konventionelle Pfade und zeigen Metadaten wie die Anzahl der URLs oder das Datum der letzten Änderung an. Lösungen wie Sitemap Finder (angeboten von ToolScraper oder Pixellize) ermöglichen es, diese Informationen ohne manuelle Eingriffe zu erhalten.
Ihr Hauptinteresse liegt in der Zeitersparnis bei einem Audit, das mehrere Domains umfasst. Allerdings erkennen diese Tools keine durch Authentifizierung geschützten Sitemaps und auch nicht solche, die nur über die Search Console ohne öffentliche Erklärung bereitgestellt werden. Die Rückmeldungen aus der Praxis variieren hinsichtlich der Zuverlässigkeit einiger von ihnen bei atypischen Serverkonfigurationen (URL-Umschreibung, zwischengeschaltetes CDN, Anwendungsfirewall).
Für eine einmalige Nutzung auf einer einzelnen Website bleibt die manuelle Überprüfung von robots.txt gefolgt von einem URL-Test ebenso schnell und zuverlässiger. Automatisierung macht erst ab etwa einem Dutzend gleichzeitig zu analysierender Domains Sinn.
Sitemap und SEO: Was die XML-Datei konkret verändert
Eine korrekt strukturierte Sitemap zu haben, erleichtert das Crawlen der Seiten durch die Crawler, aber eine Sitemap zwingt nicht zur Indexierung einer Seite. Google behandelt die Datei als Vorschlag, nicht als Anweisung. Eine Seite, die durch ein noindex-Tag ausgeschlossen oder durch robots.txt blockiert ist, wird nicht indexiert, selbst wenn sie in der Sitemap aufgeführt ist.
Der tatsächliche Nutzen der Sitemap liegt in drei Bereichen:
- Suchmaschinen auf tiefe oder verwaiste Seiten hinzuweisen, die durch das natürliche Crawlen (über interne Links) nicht leicht entdeckt werden würden.
- Das Datum der letzten Änderung über das
lastmod-Tag zu kommunizieren, was das erneute Crawlen aktualisierter Inhalte beschleunigen kann. - Die URLs nach Inhaltstyp (Artikel, Produkte, Bilder, Videos) durch separate Sitemaps zu strukturieren, was die Diagnose in der Search Console erleichtert.
Eine Sitemap, die fehlerhafte URLs oder Seiten von geringer Qualität enthält, kann hingegen das Crawl-Budget verwässern. Es ist besser, eine bereinigte Sitemap zu haben als eine umfassende Sitemap, die Seiten ohne Wert für die SEO enthält.
Die Lokalisierung der Sitemap einer Drittwebsite bleibt ein Analyse-Schritt, kein Selbstzweck. Was danach zählt, ist, den Inhalt der Datei mit den tatsächlichen Indexierungsdaten und der internen Linkstruktur der Domain zu vergleichen.