PHPCrawl は、PHP で書かれた webcrawler/webspider-ライブラリです。フィルター、リミッターや cookie 処理、robots.txt 処理型マルチプロセッシングをサポートしています。