3.5. Geo-basierte Weiterleitungen umgehen

Um eine Website vollständig crawlen und indexieren zu können, muss sie von Suchmaschinen-Bots ohne Einschränkungen durchsucht werden können. Aber auch die Bots sind über IP-Adressen identifizierbar und werden mitunter einer Region zugeordnet.

Lange hat Google ausschließlich mit IP-Adressen gecrawlt, die den USA zugeordnet waren. Wird der Crawler dadurch auf die US-Version einer Website geleitet und sind dort die übrigen Regionalversionen nicht verlinkt (oder aufgrund des Redirects sogar gar nicht erreichbar), konnten diese anderen Versionen nicht gecrawlt und indexiert werden.

Für die Zukunft schwächt sich dieses Problem zumindest im Umgang mit dem Google-Bot ab. Google wird weltweit künftig auch lokale IP-Adressen für das Crawling verwenden.

Weitere Informationen
Sistrix – Googlebot crawlt künftig mit lokalen IP-Adressen

Zuerst einmal eine schlechte Nachricht: Es gibt Beschränkungen auf Websites, die Du auch mit dem SEO Spider nicht umgehen kannst. Nämlich dann, wenn eine Website konsequent auf eine Regionalversion verweist und die anderen Versionen von Deiner IP aus nicht zugänglich macht. Bestes Beispiel hierfür: Der Streaming-Anbieter Netflix. Greifst Du von Deutschland aus auf https://www.netflix.com/ zu, kannst Du nur das Angebot von Netflix Deutschland erreichen. Um Missverständnissen vorzubeugen: Im Falle von Netflix ist das (nicht zuletzt aufgrund von Lizenzen) auch genauso gewollt.

In anderen Fällen verläuft die Weiterleitung aber weniger strikt. Du wirst zwar aufgrund Deiner IP-Adresse auf eine bestimmte Version weitergeleitet, kannst aber über eine Navigation eine andere Regionalversion auswählen und idealerweise auch als Deine Präferenz speichern. In genau diesen Fällen kannst Du auch im SEO Spider Deine Präferenz mitgeben.

Ein Beispiel hierfür ist der Online-Shop von Jack & Jones. Wenn Du von Deutschland aus auf dem Shop unter https://www.jackjones.com/ zugreifst, wirst Du direkt auf die Regionalversion weitergeleitet: https://www.jackjones.com/de-de.

Im Footer der Seite ist es jedoch möglich, auch die anderen Regionalversionen zu erreichen. Wenn Du hier eine Auswahl triffst, wird sie in Deinem Browser als Cookie gespeichert. Beim nächsten Aufruf der Domain wirst Du dann zu dieser Regionalversion weitergeleitet.

Das gleiche Verhalten wirst Du bei einem Crawl mit dem SEO Spider feststellen. Standardmäßig wird er auf die deutsche Version weitergeleitet:

Wenn Du einmal den User-Agent im SEO Spider änderst und den Google-Bot simulierst, sieht das Ergebnis übrigens anders aus: Dem Bot wird auf der Startseite direkt die Liste mit verlinkten Regionalversionen angeboten, denen er folgen kann.

Um den SEO Spider nun auf eine andere Regionalversion zu schicken, hilft Dir wieder die Funktion der webbasierten Authentifizierung weiter. Im Hauptmenü unter Konfiguration > Authentifizierung wählst Du den Tab Formularbasiert und gibst dort nach einem Klick auf Hinzufügen die URL des Online-Shops an: https://www.jackjones.com/.

Wenn sich der interne Chrome-Browser öffnet, scrollst Du nach unten zum Footer und wählst dort Deine favorisierte Regionalversion aus. Im Hintergrund wird diese Auswahl im Cookie gespeichert. Er bleibt Dir im SEO Spider erhalten. Wenn Du nun den Crawl neu startest, wirst Du sehen, dass Du auf die neue Regionalversion weitergeleitet wirst.