archive-crawler プロジェクトは、Heritrix を構築しています。柔軟で拡張可能、堅牢でかつスケーラブルなウェブクローラです。インターネットでアクセスできるコンテンツの取得、アーカイブ、そして多様性と広がりの分析ができます。