5.2. Umfangreiche Websites crawlen

Es gibt keine genaue Definition dafür, ab wann eine Website als groß oder umfangreich bezeichnet werden kann. Die Größe und Komplexität einer Website kann von verschiedenen Faktoren abhängen: Dazu gehört vor allem die Anzahl der Seiten, aber auch die Anzahl der Medieninhalte und die Verschachtelung der Site-Struktur (beispielsweise sichtbar in den Menüebenen der Navigation).

In Österreich ist die Unterscheidung zwischen großen und kleinen Websites gebräuchlicher, weil sich danach die verpflichtenden Angaben im Impressum richten. Hier werden große Websites als solche von der Wirtschaftskammer Österreich definiert, „wenn der Informationsgehalt über die Präsentation des Unternehmens hinausgeht und geeignet ist, die Meinungsbildung zu beeinflussen.“

Grundsätzlich gilt: Eine Website kann als groß betrachtet werden, wenn sie eine hohe Anzahl von Seiten und einer komplexen Site-Struktur aufweist, die schwieriger zu crawlen und zu optimieren sind. Als Richtwert wird in der Praxis häufiger die Schwelle von 10.000 Seiten genannt. Websites, die aus mehr Seiten bestehen, können auch im Rahmen eines technischen SEO-Audits als groß angesehen werden.

In Hinblick auf die Nutzung des Screaming Frog SEO Spiders ist es tatsächlich sehr relevant, vor einem Crawl einen Eindruck davon zu haben, wie komplex die zu untersuchende Website ist. Das Crawlen von Websites und das Sammeln der Daten ist ein speicherintensiver Prozess. Je mehr URLs Du crawlst, desto mehr Speicher wird für die Speicherung und Verarbeitung der Daten benötigt.

Wichtig: Seiten sind nicht gleichzusetzen mit URLs. Eine Website mit 10.000 Seiten besteht aus deutlich mehr als 10.000 URLs. Hinzu kommen Sitemaps, Skripte, CSS, Grafiken, PDFs, Videos und andere Dateien, die der SEO Spider über Verlinkungen erreichen kann.