ダウンロードリスト

プロジェクト概要

Ex-Crawlerプロジェクトは、3つのサブプロジェクトに分かれています。メイン部分は、Ex-Crawlerデーモン・サーバです。これは、高度な設定と柔軟性を持つJavaで書かれたWebクローラです。これは、サーバ、ユーザ、分散グリッド/ボランティア・コンピューティングなどを管理することができる独自のソケット・サーバを備えています。収集された情報は、データベース(現在、MySQL、PostgreSQL及びMSSQLをサポート)に格納されます。第2の要素は、グラフィカル(Java Swing)な分散グリッド/ボランティア・コンピューティング・クライアントです。これは、JADIFプロジェクトをベースにしており、ユーザ・コンピュータの状態検知を含んでいます。Web検索エンジンは、PHPで書かれています。これは、コンテンツ管理システム、ユーザ言語検知及びマルチ言語のサポート、Smartyを使用したテンプレート、Joomlaコンポーネントを手早く適合できるようにJoomla 1.5から分岐されたアプリケーション・フレームワークを部分的に含む、などから構成されています。
プロジェクトのリリース情報やプロジェクトリソースの情報です。
注: プロジェクトリソースの情報は Freecode.com ページからの引用です。ダウンロードそのものは、OSDNにホスティングされているものではありません。

2010-06-10 22:26
0.1.6 Alpha

このリリースでは、多くの速度の改善(最大60%高速)、PDFファイル、および、更新を他の改善、バグの数百の言語検出、URLフィルタをクロールする完全なデータベースのリワークを備えています。元クローラは、現在デーモンとして実行できます。スタートアップスクリプトとプロセスのウォッチャーは含まれていた。セットアップが簡素化されました。必要なデータベースのテーブル追加され、自動パフォーマンスベンチマークのtestを作成するユーティリティがのでがmanuallyスレッドの数を処理to必要notをいたしません。実装されて。
タグ: Major
This release features a complete database rework, many speed improvements (up to 60% faster), PDF crawling, language detection, an URL filter, and hundreds of other improvements, bugfixes, and updates. Ex-Crawler can now be run as a daemon. Startup scripts and a process watcher were included. Setup was simplified. A utility that creates the required database tables was added and an automatic performance benchmark test was implemented so that you don't need to handle the number of threads manually.

プロジェクトリソース