3.3. Automatisierte & geplante Crawls

1 Übung · ca. 10 Minuten

Start > Online-Kurs > 3. Erweiterte Anwendungen > 3.3. Automatisierte & geplante Crawls

Zeitsteuerung für Crawls

Es gibt gute Gründe dafür, den Crawl einer Website nicht durchzuführen, wenn Du gerade an Deinem Computer sitzt: Immer dann, wenn sich die Dauer eines Crawls in die Länge zieht und Berechnungen und Speichervorgänge im SEO Spider laufen, die ein Arbeiten parallel zum laufenden Crawl unmöglich machen.

In solchen Fällen kannst Du Dich dafür entscheiden, die Durchführung eines Crawls für einen späteren Zeitpunkt zu planen. Interessant ist das vor allem, wenn eine oder mehrere Voraussetzungen erfüllt sind:

  • Große Website mit sehr vielen URLs
  • Umfangreicher Quellcode
  • Viele interne und/oder externe Links
  • Nutzung des JavaScript-Rendering-Modus
  • Speichern von Dateien (robots.txt, CSS, Bilder, PDFs, ursprüngliches HTML, gerendertes HTML, Screenshots)
  • Ausführender Computer mit geringem Arbeitsspeicher
  • Leistungsschwacher/limitierender Webserver, für den die Crawling-Geschwindigkeit gedrosselt werden muss

Letzte Aktualisierung: 11.05.2023

Du möchtest weiterlesen?

Du kannst Dich kostenlos registrieren und anschließend auf alle Inhalte im Online-Kurs zugreifen.
Du hast schon einen Account? Dann melde Dich an.