Masayuki Shibata
mshib****@shima*****
2012年 12月 6日 (木) 13:12:31 JST
柴田＠亀岡市です。 > Fess の問題という感じではない気がしますが、 そのようです。KNOPPIX → Ubuntu に環境を移しましたら 今のところ止まらずにクロールしています。 今のところというのは、KNOPPIX で負荷を下げて試したと ころまた止まったので、そのまま Ubuntu で同じ条件で試 しており、多分３日ほどかかります (まだ途上です)。 平日にサーバーに負荷をかけると管理者に怒られますので それもあってのことですから負荷を上げるとしたら週末で すが、今週末はまだこの条件でまだ動き続けているだろう からこのまま様子を見ることになりそうです。 > /var/logなどにシステムがエラーを出力などは > していないでしょうか？クロールの間隔を下げる > などして、負荷を調整するなども良いのかもしれません。 エラーは一切出ていませんでした。 負荷の方は上記のとおりですが、これ以上下げると更新期 間が一週間を超える可能性もあるので、このあたりが限界 かと思います。(３秒間隔、２スレッド) この条件では KNOPPIX で止まっていましたので、多分負 荷ではないんじゃないかとは思っています。 KNOPPIX が本質的に悪いとは思わないですが、そのまま全 部入りで使うコンセプトなので、ホスト名 MicoroKnoppix 固定で DNS 名と食い違ったままの運用になっていたり、 Ubuntu とは条件の違う面があるので、そういうのが影響 しているのかも知れません。 Ubuntu の方は、環境を整えるのに外部に接続しないとい けないところ、うちの運用では Fess はイントラに閉じた 運用で環境構築の面で面倒だったので KNOPPIX を選んだの ですが... (2012/11/30 13:01), Shinsuke Sugaya wrote: > 菅谷です。 > > Fess の問題という感じではない気がしますが、 > /var/logなどにシステムがエラーを出力などは > していないでしょうか？クロールの間隔を下げる > などして、負荷を調整するなども良いのかもしれません。 > > shinsuke > > 2012年11月30日 10:18 Masayuki Shibata <mshib****@shima*****>: >> 柴田＠亀岡市です。 >> >> 何度かやってみましたが、最後までクロールできずに終わり >> ます。 >> >> SIGKILL が出る場合と、痕跡もなく落ちている場合の２種類 >> がありますが、落ちるくらいだからシステムが SIGKILL を >> 発行できる場合はそれで強制終了されているのかと思います。 >> >> 念のため OpenJDK から Sun JDK に差し替えてみましたが、 >> そちらの方は、クロールを始めてから 10分後くらいには、 >> Web アクセスが檄重になって、そのままにしておいたら、 >> OpenJDK の場合より早く落ちてました。 >> >> 感覚的に OpenJDK で５時間後くらい、Sun JDK で３時間く >> らいです。後者の方が早い時点で重くなるからか、作られる >> インデックスの数も少なめ (スループット低め) です。 >> ＃1000 行きません。 >> >> 落ちるまではインデックスは作れていますし、クロールしな >> ければ問題なく使えてそうなので、機能的には動いていて、 >> クロールすると何かリソースを段々食って行っているような >> 感じです。 >> >> Windows 系 (7 と 2003 Server) は、試した回数は少ないで >> すが、最後までクロールできているので、何だかよくわかり >> ませんが、状況だけ報告させていただきます。 >> >> (2012/11/28 11:24), Shinsuke Sugaya wrote: >>> 菅谷です。 >>> >>> http://www.velocityreviews.com/forums/t136593-understanding-error-java-returned-137-a.html >>> から考えると、SIGKILLがクロールするプロセスに >>> 対して発行されたためだと思います。 >>> よろしくお願いいたします。 >>> >>> shinsuke >>> >>> >>> 2012年11月28日 11:12 Masayuki Shibata<mshib****@shima*****>: >>>> 柴田＠亀岡市です。 >>>> >>>> テスト環境から実環境に変えてテストしました。 >>>> >>>> Windows 7 64bit Core i7 → KNOPPIX 7.0 Core2 Duo >>>> ＃後者は、USB メモリ上にあります。 >>>> >>>> 2012-11-27 23:49:03,934 [Thread-6] INFO jp.sf.fess.helper.SystemHelper - Crawler: Exit Code=137 - Crawler Process Output: >>>> >>>> ...を出して止まった (２度) ようです。 >>>> >>>> Exit Code=137 は、どういうときに発生しますか？ >>>> >>>> (2012/11/27 21:40), Shinsuke Sugaya wrote: >>>>> 菅谷です。 >>>>> >>>>> 確認していただきありがとうございました。 >>>>> >>>>> shinsuke >>>>> >>>>> 2012年11月27日 13:27 Masayuki Shibata<mshib****@shima*****>: >>>>>> 柴田＠亀岡市です。 >>>>>> >>>>>> ターゲットを絞って１回、今回の全ターゲットを対象に１回 >>>>>> クロールさせましたところ、２回とも正常に完了しました。 >>>>>> >>>>>> 後者は、今回 58,000 件超までドキュメント数が伸びたのに >>>>>> 対し、処置前は 32,000 件ほどでしたので、途中で止まっ >>>>>> ていたようです。 >>>>>> >>>>>> これは Fess 6 でも 32,000 件ほどでしたので、そちらも最 >>>>>> 後までクロールできていなかったのではないかと思います。 >>>>>> >>>>>> (2012/11/22 22:28), Shinsuke Sugaya wrote: >>>>>>> 菅谷です。 >>>>>>> >>>>>>> ログ自体は fess_crawler.out で問題ありません。 >>>>>>> 環境によりクロールが止まってしまうことがあったのですが >>>>>>> もしそれであれば、webapps/fess/WEB-INF/lib/s2-robot-0.5.4.jarを >>>>>>> http://maven.seasar.org/maven2-snapshot/org/seasar/robot/s2-robot/0.5.5-SNAPSHOT/s2-robot-0.5.5-20121005.002233-9.jar >>>>>>> に取り替えて試していただけないでしょうか？ >>>>>>> お手数をおかけしまして申し訳ありませんが >>>>>>> よろしくお願いいたします。 >>>>>>> >>>>>>> shinsuke >>>>>>> >>>>>>> >>>>>>> 2012年11月22日 15:27 Masayuki Shibata<mshib****@shima*****>: >>>>>>>> 柴田＠亀岡市です。 >>>>>>>> >>>>>>>> Fess 7.0.1 を自 PC から、最終ターゲットのクロール先のイン >>>>>>>> デックスを作成するテストをやっています。 >>>>>>>> >>>>>>>> 15時間ほどで fess_crawler.out にログが出ない状態になって >>>>>>>> おり、立ち回り先を全部収集し終えた感じですが、そこから約 >>>>>>>> ６時間経過後もまだ実行中のままです。 >>>>>>>> >>>>>>>> 何かやっているのだと思いますが、どこを見れば状態を把握で >>>>>>>> きるでしょうか？ >>>>>>>> >>>>>>>> _______________________________________________ >>>>>>>> Fess-user mailing list >>>>>>>> Fess-****@lists***** >>>>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>>> >>>>>>> _______________________________________________ >>>>>>> Fess-user mailing list >>>>>>> Fess-****@lists***** >>>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>>> >>>>>> _______________________________________________ >>>>>> Fess-user mailing list >>>>>> Fess-****@lists***** >>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>>> >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >>> >> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user > > _______________________________________________ > Fess-user mailing list > Fess-****@lists***** > http://lists.sourceforge.jp/mailman/listinfo/fess-user > >
