Masayuki Shibata
mshib****@shima*****
2012年 11月 30日 (金) 10:18:28 JST
柴田＠亀岡市です。 何度かやってみましたが、最後までクロールできずに終わり ます。 SIGKILL が出る場合と、痕跡もなく落ちている場合の２種類 がありますが、落ちるくらいだからシステムが SIGKILL を 発行できる場合はそれで強制終了されているのかと思います。 念のため OpenJDK から Sun JDK に差し替えてみましたが、 そちらの方は、クロールを始めてから 10分後くらいには、 Web アクセスが檄重になって、そのままにしておいたら、 OpenJDK の場合より早く落ちてました。 感覚的に OpenJDK で５時間後くらい、Sun JDK で３時間く らいです。後者の方が早い時点で重くなるからか、作られる インデックスの数も少なめ (スループット低め) です。 ＃1000 行きません。 落ちるまではインデックスは作れていますし、クロールしな ければ問題なく使えてそうなので、機能的には動いていて、 クロールすると何かリソースを段々食って行っているような 感じです。 Windows 系 (7 と 2003 Server) は、試した回数は少ないで すが、最後までクロールできているので、何だかよくわかり ませんが、状況だけ報告させていただきます。 (2012/11/28 11:24), Shinsuke Sugaya wrote: > 菅谷です。 > > http://www.velocityreviews.com/forums/t136593-understanding-error-java-returned-137-a.html > から考えると、SIGKILLがクロールするプロセスに > 対して発行されたためだと思います。 > よろしくお願いいたします。 > > shinsuke > > > 2012年11月28日 11:12 Masayuki Shibata<mshib****@shima*****>: >> 柴田＠亀岡市です。 >> >> テスト環境から実環境に変えてテストしました。 >> >> Windows 7 64bit Core i7 → KNOPPIX 7.0 Core2 Duo >> ＃後者は、USB メモリ上にあります。 >> >> 2012-11-27 23:49:03,934 [Thread-6] INFO jp.sf.fess.helper.SystemHelper - Crawler: Exit Code=137 - Crawler Process Output: >> >> ...を出して止まった (２度) ようです。 >> >> Exit Code=137 は、どういうときに発生しますか？ >> >> (2012/11/27 21:40), Shinsuke Sugaya wrote: >>> 菅谷です。 >>> >>> 確認していただきありがとうございました。 >>> >>> shinsuke >>> >>> 2012年11月27日 13:27 Masayuki Shibata<mshib****@shima*****>: >>>> 柴田＠亀岡市です。 >>>> >>>> ターゲットを絞って１回、今回の全ターゲットを対象に１回 >>>> クロールさせましたところ、２回とも正常に完了しました。 >>>> >>>> 後者は、今回 58,000 件超までドキュメント数が伸びたのに >>>> 対し、処置前は 32,000 件ほどでしたので、途中で止まっ >>>> ていたようです。 >>>> >>>> これは Fess 6 でも 32,000 件ほどでしたので、そちらも最 >>>> 後までクロールできていなかったのではないかと思います。 >>>> >>>> (2012/11/22 22:28), Shinsuke Sugaya wrote: >>>>> 菅谷です。 >>>>> >>>>> ログ自体は fess_crawler.out で問題ありません。 >>>>> 環境によりクロールが止まってしまうことがあったのですが >>>>> もしそれであれば、webapps/fess/WEB-INF/lib/s2-robot-0.5.4.jarを >>>>> http://maven.seasar.org/maven2-snapshot/org/seasar/robot/s2-robot/0.5.5-SNAPSHOT/s2-robot-0.5.5-20121005.002233-9.jar >>>>> に取り替えて試していただけないでしょうか？ >>>>> お手数をおかけしまして申し訳ありませんが >>>>> よろしくお願いいたします。 >>>>> >>>>> shinsuke >>>>> >>>>> >>>>> 2012年11月22日 15:27 Masayuki Shibata<mshib****@shima*****>: >>>>>> 柴田＠亀岡市です。 >>>>>> >>>>>> Fess 7.0.1 を自 PC から、最終ターゲットのクロール先のイン >>>>>> デックスを作成するテストをやっています。 >>>>>> >>>>>> 15時間ほどで fess_crawler.out にログが出ない状態になって >>>>>> おり、立ち回り先を全部収集し終えた感じですが、そこから約 >>>>>> ６時間経過後もまだ実行中のままです。 >>>>>> >>>>>> 何かやっているのだと思いますが、どこを見れば状態を把握で >>>>>> きるでしょうか？ >>>>>> >>>>>> _______________________________________________ >>>>>> Fess-user mailing list >>>>>> Fess-****@lists***** >>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >>> >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user > >
