[fess-user 804] Re: クローリングが途中で止まってしまう問題について

アーカイブの一覧に戻る

Shinsuke Sugaya shins****@yahoo*****
2013年 12月 27日 (金) 09:27:31 JST


菅谷です。

(スパム防止のため、送信にはFessのMLへの登録が必要になります)

> 「emptyListCount is over 60.」という

上記が発生する場合は、クロール対象からのレスポンスが
返ってこないまたはクロールが完了できないようなファイルが
存在する状況になります。このような状況の時はfess_crawler.outから
問題となるファイル等を確認していただいて、クロール対象からの
除外等をして頂く必要があるかと思います。

通常はクロールできないようなものは例外をはいて、次の対象に
進むのですが、ネットワーク的な理由やまれに何かしらのファイル
操作系のバグを踏むようなファイルがあったりすると、処理待ち状態に
なるものはあるかと思います。

よろしくお願いいたします。

shinsuke


2013年12月26日 10:06
> To: <fess-****@lists*****>
> Date: Thu, 26 Dec 2013 10:05:57 +0900
> Subject: クローリングが途中で止まってしまう問題について
> お世話になっております。
> 大岡と申します。
>
> 社内のファイルサーバを検索するために
> FESSを使わせて頂いてます。
>
> FESSのバージョンは8.0.0です。
> クローリング処理が毎回
> 「emptyListCount is over 60.」という
> メッセージとともに途中で止まってしまいます。
> この問題を回避する方法はありますでしょうか?
>
> ファイルサーバのファイル数はおよそ数千万あり、
> 毎日100件程度のファイルが更新されていて、
> それらの更新を拾うべく毎晩差分クローリングを走らせています。
>
> どうやら差分クローリングの途中で
> 更新されていないファイルがずっと続くと
> 「emptyListCount is over 60.」というメッセージが出て
> クローリングが途中終了してしまうようです。
>
> また、途中終了処理も完全ではないようで、
> クローラープロセスは動き続けていて、
> そのままでは次の日のクローリングが開始せず、
> 毎日管理画面から「クロールの停止」ボタンをクリックして
> クローラープロセスを停止させています。
>
> 設定の変更等で最後までクローリングをする事は可能になりますか?
>
> それでは、よろしくお願いします。
>
>




Fess-user メーリングリストの案内
アーカイブの一覧に戻る