ダウンロードリスト

プロジェクト概要

Ebot は拡張性と distribuited の Web クローラーです。Url が、NOSQL データベース (マップまたは軽減のクエリをサポートしています) に保存されますも HTTP 要求またはお好みのプログラミング言語を使用してを通じてクエリできること。分析対象とする必要がある Url は、AMQP キューに送信されます。この方法でいくつかのクローラーが並列で実行し停止および Url を失うことがなくそれらを起動することが可能です。

システム要件

システム要件が設定されていません
プロジェクトのリリース情報やプロジェクトリソースの情報です。
注: プロジェクトリソースの情報は Freecode.com ページからの引用です。ダウンロードそのものは、OSDNにホスティングされているものではありません。

2010-06-08 16:40
0.4

カスタム/外部ボディアナライザとURL正規化は、現在サポートされます。設定ファイルが標準化された。
Custom/external body analyzers and URL normalizers are now supported. The configuration files were standardised.

2010-05-30 04:26
0.3

デフォルトは、Apacheのcouchdbですが、最初のサポートはRiakのバックエンドのデータベースとして、追加されました。リモートDBとAMQPのサーバーに接続するための新しいオプションが追加されました。
Initial support was added for Riak as a backend database, though the default is still Apache couchdb. New options for connecting to remote DB and AMQP servers were added.

2010-05-20 05:46
2010-05-19

統計は、dbの(追加されてURLの数、データベースサイズ)、AMQPを(キューの数)、およびRRDtoolのとは、ウェブ(クローラ)。
Statistics have been added for db (number of urls, db size), amqp (queues counts), and web (crawlers) with RRDTOOL.

プロジェクトリソース