半角空白をはさむ未知語の出現に対する処理

• 報告者: masayu-a
• 担当者: masayu-a
• チケットの種類: バグ
• 状況: 完了
• コンポーネント: (未割り当て)
• マイルストーン: (未割り当て)
• 優先度: 1 - 最低
• 重要度: 5 - 中
• 解決法: 修正済み
• ファイル: なし

詳細 返信

半角空白をはさんで２つの未知語があると、ChaSen が返っ
てこなくなるよう
です。以下の入力で再現できます。

------------------------------------------------------
----------------
ヰ ヱ
------------------------------------------------------
----------------

unidic でも ipadic でも確認しました。

なお、unidic には半角文字を登録していないため、

------------------------------------------------------
----------------
Developmental Psychology
------------------------------------------------------
----------------

のような入力でも同様の現象が生じます。この入力に対す
る ipadic の動作も
謎で、

------------------------------------------------------
----------------
D ディー D 記号-アルファベット
e イー e 記号-アルファベット
v ブイ v 記号-アルファベット
e イー e 記号-アルファベット
l エル l 記号-アルファベット
o オー o 記号-アルファベット
p ピー p 記号-アルファベット
m エム m 記号-アルファベット
e イー e 記号-アルファベット
n エヌ n 記号-アルファベット
t ティー t 記号-アルファベット
a エイ a 記号-アルファベット
l エル l 記号-アルファベット
Psychology 未知語
EOS
------------------------------------------------------
----------------

のように、前半部分だけアルファベット連続に解析されま
す。

チケットの履歴 (5 件中 3 件表示)

2007-07-03 14:42 更新者: masayu-a

コメント 返信

Logged In: YES
user_id=13000

以前小木曽さんから報告があった「半角空白をはさんで２つの未
知語があると
ChaSen が返ってこなくなる」という問題ですが、tokenizer.c の
バグのようで
す。添付のパッチで直ります。

すみませんが、修正後の Windows のバイナリをどこかに置いても
らえますか。


千葉大学文学
部 行動科学科


伝　康晴




diff -rc chasen-2.4.0/lib/tokenizer.c chasen-
2.4.0a/lib/tokenizer.c
*** chasen-2.4.0/lib/tokenizer.c Mon Mar 26 01:45:12
2007
--- chasen-2.4.0a/lib/tokenizer.c Wed Jun 27 12:18:55
2007
***************
*** 156,161 ****
--- 156,162 ----
if (is_anno2(anno, str, cursor))
break;
}
+ type[0] = cursor; /* 2007/06/26 YD */
return cursor;
}

***************
*** 164,169 ****
--- 165,171 ----
cursor += tok->mblen(str + cursor, len -
cursor)) {
if (anno_no != NULL &&
is_anno(tok, str + cursor, len - cursor) >=
0) {
+ type[head] = cursor - head; /* 2007/06/26 YD
*/
return cursor;
} else {
state = tok->get_char_type(tok, str + cursor,
len - cursor);

2007-07-03 14:57 更新者: masayu-a

• 解決法 が なし から 受領 に更新されました

2007-07-03 14:59 更新者: masayu-a

• 解決法 が 受領 から 修正済み に更新されました

2007-07-03 16:01 更新者: masayu-a

• 優先度 が 5 - 中 から 5 - 中 に更新されました
• 状況 が オープン から オープン に更新されました

2007-07-03 16:01 更新者: masayu-a

• チケット完了時刻 が 2007-07-03 16:01 に更新されました
• 優先度 が 5 - 中 から 1 - 最低 に更新されました
• 状況 が オープン から 完了 に更新されました