3.4. Verwendete Cookies erfassen

Wähle im Hauptmenü aus: Konfiguration > SEO Spider. Im Tab Extraktion aktivierst Du im Bereich URL-Details die Option Cookies. Nun werden bei einem Crawl alle entdeckten Cookies gespeichert.

Wichtig: Standardmäßig erkennt der SEO Spider das Tracking für den Webanalyse-Dienst Google Analytics und führt diesen Tracking-Code nicht aus. Das verhindert, das Reports dort um die Seitenaufrufe durch den Crawler verfälscht werden. Wenn Du Dich für die Speicherung von Cookies entscheidest, wird diese Ausnahme jedoch aufgehoben. Der SEO Spider führt dann auch den Tracking-Code aus, um auch die durch Google Analytics gesetzten Cookies zu erfassen.

Unter Konfiguration > SEO Spider aktivierst Du im Tab Rendering das JavaScript-Rendering. Das ist notwendig, weil nur so Cookies erfasst werden können, die per JavaScript gesetzt werden. Typischerweise haben auch die Cookies der sogenannten Zählpixel (früher bekannt aus der IVW-Reichweitenmessung) JavaScript-Funktionalität, die anderenfalls nicht beachtet würde.

Wähle unter Konfiguration > Benutzer-Agent einen voreingestellten User-Agent (beispielsweise Googles Chrome-Browser) für HTTP-Anfragen aus, um einen echten Website-Besucher zu simulieren. Tatsächlich kommt es vor, dass Websites Crawlern andere oder keine Cookies setzen, während sie dies für echte Besucher tun.

Wähle unter Konfiguration > robots.txt > Einstellungen aus, dass der SEO Spider die Direktiven der robots.txt ignorieren soll. Das ist notwendig, weil Cookies durchaus auch von URLs geladen werden könnten, die für die Website- Crawler aufgrund von Anweisungen in der robots.txt nicht erreichbar sind.

Wenn Du nun den Crawl der Website startest, kannst Du in Echtzeit mitverfolgen, wie der SEO Spider Details zu verwendeten Cookies findet. Dazu wählst Du in der URL-Übersicht den Tab Intern aus und filterst nach HTML.

Unter den vielen Spalten in dieser Ansicht findet sich auch die Spalte Cookies. Hier wird Dir die Anzahl der erfassten Cookies für jede Seite ausgegeben.

Weitere Informationen erhältst Du, wenn Du nun in der URL-Übersicht eine Zeile anklickst und Du im zugehörigen URL-Detail-Fenster unten den Tab Cookies untersuchst. Hier stehen die folgenden Spalten zur Verfügung:

• Cookie-Name
  Der Name des Cookies.
  
  
• Cookie-Wert
  Der Wert des Cookies.
  
  
• Domain
  Die Domain, von der der Cookie stammt.
  Wichtig: Es kann sich hier um interne oder externe Quellen handeln.
  
  
• Pfad
  Der Pfad innerhalb der Domain, von der Cookie stammt.
  
  
• Expiration Time
  Die Gültigkeitsdauer des Cookies.
  
  
• Secure
  Angaben zum Sicherheitsattribut des Cookies. True bedeutet, dass das Attribut sicher vorhanden ist.
  
  
• HttpOnly
  Einzelheiten zum HttpOnly-Attribut des Cookies. True bedeutet, dass das Attribut HttpOnly vorhanden ist.
  
  
• SameSite
  Angaben dazu, welcher SameSite-Parameter für den Cookie gesetzt ist.
  
  
• Adresse
  Die URL, auf der der Cookie gesetzt wurde.
  
  

Weitere Informationen
Web.dev – SameSite-Cookies erklärt

Wenn Du im Hauptmenü den Punkt Berichte > Cookies auswählst, kannst Du im folgenden Fenster eine Zusammenfassung der erfassten Cookies speichern. Der Bericht listet alle Cookies mit den Angaben aus dem Cookie-Tab des URL-Detail-Fensters (siehe oben) auf. Der Cookie-Wert fehlt in dieser Zusammenfassung. Er ist für jede Seite einzigartig.

Ein Cookie-Consent-Banner ist eine Benachrichtigung, die Besuchern auf einer Website angezeigt wird, um darauf aufmerksam zu machen, dass die Website Cookies verwendet. Meist ist die Darstellung mit der Aufforderung verbunden, der Verwendung von Cookies zuzustimmen oder abzulehnen. Bei DSGVO-konformer Einbindung können Besucher auswählen, welche Arten von Cookies sie zulassen möchten.

Bei richtiger Implementierung wird dafür gesorgt, dass Suchmaschinen-Bots die im Hintergrund vollständig geladenen Inhalte auch ohne Zustimmung crawlen und indexieren können.

Wenn Du testen möchtest, welche Cookies tatsächlich gesetzt werden, wenn sich ein Besucher nur für notwendige Cookies entscheidet, kannst Du auf die Authentifizierung über Webformulare zurückgreifen. Schaue Dir dazu einmal die Lektion zum Crawlen passwortgeschützter Websites & Entwicklungsumgebungen an.

Trifft der Google-Bot beim Crawl einer Seite auf einen Cookie, so wird dieser für die Ladezeit der Seite akzeptiert und danach direkt wieder gelöscht. Dieses umständliche Verfahren ist notwendig geworden, weil Websites immer häufiger nur noch vollständig angezeigt werden können, wenn von den Besuchern Cookies akzeptiert werden. Websites liefern mitunter einen gekürzten oder gar keinen Inhalt zurück. wenn die Annahme von Cookies verweigert wird.

Standardmäßig imitiert der SEO Spider das Verhalten des Google-Bots und speichert Cookies für die Dauer einer Session. Als Session ist in diesem Zusammenhang die Dauer des Seitenaufrufs gemeint und nicht die Dauer des gesamten Crawls. Nach dem Seitenaufruf werden die Cookies gelöscht und stehen somit nicht für weitere Anfragen zur Verfügung.

Die Speicherdauer von Cookies kann im Hauptmenü unter Konfiguration > SEO Spider im Tab Fortgeschritten angepasst werden.