[Ludia-users 116] Re: sen_index_upd failedについて

アーカイブの一覧に戻る

kousa****@nttda***** kousa****@nttda*****
2007年 10月 15日 (月) 17:15:43 JST


幸坂です。こんにちは。

> 手順でしょうか?他にもっと簡単な方法があるのでしょうか?
SET ludia.initial_n_segments TO 512;
このように、セッションごとに設定できます。
詳細はREADMEをお読みください。
http://ludia.sourceforge.jp/cgi-bin/moin.cgi/LudiaReadme
http://ludia.sourceforge.jp/cgi-bin/moin.cgi/LudiaReadmeAdvanced


> 登録する文書量によって肥大化していく、といった認識で
> 間違っていませんでしょうか?
*.SEN.i はある程度以上、肥大化しません。
上限はinitial_n_segmentsによって決定されます。
*.SEN.i に入りきらない肥大化部分は *.SEN.i.c に格納されます。
*.SEN と *.SEN.l は少しずつ肥大化し続けます。

ちなみに、Linux版の*.SEN.i のデフォルト値(初期値)は、
Windows版と比較して2桁ぐらい小さいです。

> -----Original Message-----
> From: ludia****@lists***** 
> [mailto:ludia****@lists*****] On Behalf 
> Of Kawanishi Tetsuo
> Sent: Sunday, October 14, 2007 8:57 PM
> To: ludia****@lists*****
> Subject: [Ludia-users 115] RE: Re: sen_index_upd failedについて
> 
> 
> 川西です。こんばんは。
> 
> ご解説、ありがとうございます。
> 過去に何度か出ていた内容だったようで申し訳ありません。
> 
> sennaを1.0.9にバージョンアップしたところmmapのエラーが出た後も、
> deadlock状態に陥らないようになりました。
> 
> initial_n_segmentsを1024に設定していたことで、
> インデックスのサイズが肥大化していたようです。
> initial_n_segmentsの値を512に戻したところ、
> INSERTできる件数も増え、だいぶ改善してきました。
> max_n_index_cacheの値がデフォルトの16なので、
> この値を多少減らせば解決となりそうです。
> 
> > initial_n_segmentsの値はインデックスごとに設定できます。
> > initial_n_segmentsのデフォルトは512です。
> 
> インデックスごとにinitial_n_segmentsの値を設定する場合は、
> postgres.confの設定値を書き換えてからインデックスを作成するという
> 手順でしょうか?他にもっと簡単な方法があるのでしょうか?
> 
> > *.SEN.l, *.SEN.i, *.SENの合計値が小さくなるように
> > max_n_index_cacheとinitial_n_segmentsを調整してみてください。
> 
> *.SEN.l, *.SEN.i, *.SENの合計値が論理メモリにマップされ、
> *.SEN.i についてはデフォルト130MB程度確保され、
> 登録する文書量によって肥大化していく、といった認識で
> 間違っていませんでしょうか?
> 
> 資源不足に陥らないよう、少し余裕を持った設定値にした方が
> 良さそうですね。
> 
> 以上、よろしくお願いいたします。
> 
> Tetsuo Kawanishi
> 
> > Date: Fri, 12 Oct 2007 09:01:59 +0900
> > From: kousa****@nttda*****
> > To: ludia****@lists*****
> > Subject: [Ludia-users 111] Re: sen_index_upd failedについて
> >
> > 幸坂です。こんにちは。
> >
> > 確かにマップされている領域が過剰ですね。
> >
> >> 最近のLudiaはindex_cacheの挙動ってどうなっているのでしたっけ? → Ludia
な
> > 方々。
> > max_n_index_cacheより多くのインデックスを開こうとすると、
> > LRU方式で最も使われていないインデックスを閉じる仕様となっています。
> > max_n_index_cacheのデフォルトは16です。
> >
> > もしくは、initial_n_segmentsを小さくすると、
> > インデックスのマップされる領域が変更できます。
> > initial_n_segmentsの値はインデックスごとに設定できます。
> > initial_n_segmentsのデフォルトは512です。
> >
> > *.SEN.l, *.SEN.i, *.SENの合計値が小さくなるように
> > max_n_index_cacheとinitial_n_segmentsを調整してみてください。
> > (postgresql.confで変更できます。詳しくはREADME。)
> >
> > 以上です。
> >
> >> -----Original Message-----
> >> From: ludia****@lists*****
> >> [mailto:ludia****@lists*****] On Behalf
> >> Of morit****@razil*****
> >> Sent: Friday, October 12, 2007 3:14 AM
> >> To: ludia****@lists*****
> >> Subject: [Ludia-users 110] Re:sen_index_upd failedについて
> >>
> >> こんばんは。もりです。
> >>
> >>> 以前FTPでPUTするようなやり取りがあったと思うのですが、そういったことは
可
> > 能で
> >>> しょうか?
> >>
> >> はい。現在も利用可能です。しかし‥
> >> インデックスのうちファイルにマップされるはずである領域が2.2GB程度に達し
て
> > いますので、
> >> 未知の問題というわけではなく、実際に資源が足りなくなっている可能性が高
いと
> > 思います。
> >> (今回はmapsファイルを頂いてもあまり新しい知見は得られない気がします)
> >>
> >> /proc/pid/fdによると、8個のインデックスが同時に開かれているようですが、
> >> 実際に同時に使用する必要があるインデックスの数がこれより少ないようでし
た
> > ら、
> >> Ludia側の作りでもっとこまめにクローズして論理資源を節約できる可能性があ
る
> > かもです。
> >>
> >> 最近のLudiaはindex_cacheの挙動ってどうなっているのでしたっけ? → Ludia
な
> > 方々。
> >>
> >>>> cat /proc/pid/status
> >>> Name: postmaster
> >>> State: S (sleeping)
> >>> SleepAVG: 98%
> >>> Tgid: 3839
> >>> Pid: 3839
> >>> PPid: 4180
> >>> TracerPid: 0
> >>> Uid: 26 26 26 26
> >>> Gid: 26 26 26 26
> >>> FDSize: 256
> >>> Groups: 26
> >>> VmPeak: 3144368 kB
> >>> VmSize: 3144368 kB
> >>> VmLck: 0 kB
> >>> VmHWM: 1968204 kB
> >>> VmRSS: 490748 kB
> >>> VmData: 28896 kB
> >>> VmStk: 88 kB
> >>> VmExe: 3072 kB
> >>> VmLib: 5420 kB
> >>> VmPTE: 5996 kB
> >>> StaBrk: 08394000 kB
> >>> Brk: 09e66000 kB
> >>> StaStk: bf8ecc80 kB
> >>> Threads: 1
> >>> SigQ: 0/180352
> >>> SigPnd: 0000000000000000
> >>> ShdPnd: 0000000000000000
> >>> SigBlk: 0000000000000000
> >>> SigIgn: 0000000001301000
> >>> SigCgt: 0000000000006a87
> >>> CapInh: 0000000000000000
> >>> CapPrm: 0000000000000000
> >>> CapEff: 0000000000000000
> >>> Cpus_allowed: ffffffff
> >>> Mems_allowed: 1
> >>>
> >>>>/proc/pid/fd/
> >>> 4008526.SEN.l 8462336
> >>> 4008526.SEN.i 258674688
> >>> 4008526.SEN.i.c 266240
> >>> 4008528.SEN 8462336
> >>> 4008528.SEN.l 8462336
> >>> 4008528.SEN.i 269422592
> >>> 4008528.SEN.i.c 1052672
> >>> 4008538.SEN 8462336
> >>> 4008538.SEN.l 8462336
> >>> 4008538.SEN.i 266014720
> >>> 4008538.SEN.i.c 266240
> >>> 4008539.SEN 8462336
> >>> 4008539.SEN.l 8462336
> >>> 4008539.SEN.i 252907520
> >>> 4008539.SEN.i.c 266240
> >>> 4008511.SEN 8462336
> >>> 4008511.SEN.l 8462336
> >>> 4008511.SEN.i 268898304
> >>> 4008511.SEN.i.c 266240
> >>> 4008513.SEN 8462336
> >>> 4008513.SEN.l 12656640
> >>> 4008513.SEN.i 271519744
> >>> 4008513.SEN.i.c 334761984
> >>> 4008523.SEN 8462336
> >>> 4008523.SEN.l 8462336
> >>> 4008523.SEN.i 268898304
> >>> 4008523.SEN.i.c 266240
> >>> 4008524.SEN 8462336
> >>> 4008524.SEN.l 8462336
> >>> 4008524.SEN.i 268898304
> >>> 4008524.SEN.i.c 266240
> >>> 4008526.SEN 8462336
> >>>
> >>> 以上、よろしくお願いいたします。
> >>>
> >>> Tetsuo Kawanishi
> >>>
> >>> _________________________________________________________________
> >>> Webページを見ながらスムーズ検索「サーチペイン」搭載のMSN版IE7をダウン
> > ロード
> >>> http://promotion.msn.co.jp/ie7/
> >>>
> >>> _______________________________________________
> >>> Ludia-users mailing list
> >>> Ludia****@lists*****
> >>> http://lists.sourceforge.jp/mailman/listinfo/ludia-users
> >>>
> >> --
> >> mori
> >>
> >> _______________________________________________
> >> Ludia-users mailing list
> >> Ludia****@lists*****
> >> http://lists.sourceforge.jp/mailman/listinfo/ludia-users
> >>
> >
> > _______________________________________________
> > Ludia-users mailing list
> > Ludia****@lists*****
> > http://lists.sourceforge.jp/mailman/listinfo/ludia-users
> 
> _________________________________________________________________
> 【MSNビデオ】超貴重!驚きの大物対談が実現。作家 村上龍が話題のあの人に迫る
> http://video.msn.co.jp/rvr/default.htm
> 
> _______________________________________________
> Ludia-users mailing list
> Ludia****@lists*****
> http://lists.sourceforge.jp/mailman/listinfo/ludia-users
> 




Ludia-users メーリングリストの案内
アーカイブの一覧に戻る