Eine automatisierte Technik, die systematisch im Web veröffentlichte Ressourcen (HTML‑Seiten, verlinkte Dateien und maschinenlesbare Feeds) durch Verfolgen von Link‑Strukturen, Sitemaps oder Harvest‑Manifests abruft, um Indexierung, Auffindbarkeit oder die Erfassung wissenschaftlicher und kultureller Materialien zu unterstützen.

Prinzip

Crawling ist opportunistisch: ein automatischer Agent stellt HTTP‑Anfragen und folgt entdeckten Links oder aufgezählten Zielen, wobei Serverantworten, Änderungsdynamik und Zugriffsrestriktionen wirksam sind; die Abdeckung ergibt sich aus Link‑Topologie, Entdeckungsstrategie und Zugänglichkeit, nicht aus einer inhärenten Vollständigkeitsgarantie.

Demonstration

Illustratives Szenario: Ein Harvest‑Job startet beim veröffentlichten Sitemap einer Institution, folgt Sammlungslinks, lädt relevante HTML‑Seiten und anhängige PDFs, protokolliert HTTP‑Header und Zeitstempel und erzeugt ein Crawl‑Log, das später ein Indexer zur Suche und Archivierung verwendet.

Fehlanwendung

Zu glauben, ein Crawl liefere ein autoritatives, vollständiges Korpus (z. B. dass alle Versionen und nicht verlinkten Ressourcen erfasst würden), verwechselt opportunistische Retrieval‑Strategie mit erschöpfendem Zugriff; dynamische, skriptgesteuerte oder bezahlte Inhalte können unentdeckt bleiben oder unvollständig sein.

Konsequenz

Crawling kann breite, skalierbare Abdeckung liefern und Kontext‑Linkstruktur sowie HTTP‑Metadaten erfassen; es verbraucht Bandbreite, kann flüchtige Zustände erfassen, Duplikate oder inkonsistente Repräsentationen erzeugen und wird durch Zugriffskontrollen oder Server‑Policies eingeschränkt.

Umkehrung

Existieren strukturierte, autoritative Zugriffspunkte (APIs, Export aus Abonnements, Publisher‑Feeds), liefern diese oft vollständigere, stabilere oder lizenzierte Metadaten und Inhalte als Crawling; andererseits bleibt Crawling für Ressourcen ohne programmgesteuerten Export erforderlich.

Abgrenzung

Eindeutig innerhalb: geplante, automatisierte Harvests, die Links/Sitemaps folgen, um öffentliche Webressourcen zu sammeln. Grenzfall: fokussierte Crawls mit Query‑Seeds und engen Selektionskriterien. Eindeutig außerhalb: manuelles Browsen und einzelne Downloads oder vereinbarte Datenübertragungen.

Semantische Spannung

Coverage ↔ Anbieter‑Schutz — Crawler streben maximale Entdeckung an, müssen aber Vollständigkeit gegen Höflichkeit (Rate‑Limits, robots‑Direktiven) und das Beachten von Zugriffspolitiken abwägen, was die Abdeckung verringern kann.

Synthese

Web‑Crawling ist eine opportunistische Strategie zur Entdeckung und Erfassung: effizient für breite Abdeckung bei fehlenden programmgesteuerten Exporten, aber inhärent begrenzt durch Entdeckbarkeit, Inhaltsdynamik und Zugriffsbeschränkungen.