KH Coder 掲示板
[ツリー表示] [留意事項] [ワード検索] [過去ログ] [管理用]

  [No.330] 新しいバージョンの茶筌への対応 投稿者:HIGUCHI Koichi  投稿日:2007/09/04(Tue) 22:53:39

樋口です。

種々の確認を行っていただき、大変ありがとうございます。

> chasenの出力結果をmysqlに渡すところで、何か不具合が生じているものと予想されますがいかがでしょう?

お手数をおかけしました。おっしゃるとおり、茶筌の設定の問題ではなく、出力ファイルの扱いにまずい点があったためでした。

2.3.3以降の茶筌では、仕様の変更があったようで、<H1>のような語の基本型が出力されず、ブランクになっています。これに対応できていませんでした。(Windows版パッケージに同梱の茶筌は古いものなので、Windows上では問題が生じなかったのです)

この問題についての修正を行いましたので、新しいバージョンをcvsからダウンロードしていただけますでしょうか。以下の2つのコマンドを実行し、カレント・ディレクトリにダウンロードされた「core/kh_lib」「core/dummy_lib」の2つを、既にお使いのKH Coderのディレクトリに上書きしていただけばOKです。

cvs -z3 -d:pserver:anonymous@khc.cvs.sourceforge.net:/cvsroot/khc export -r HEAD core/kh_lib
cvs -z3 -d:pserver:anonymous@khc.cvs.sourceforge.net:/cvsroot/khc export -r HEAD core/dummy_lib

なお、以上の操作によって、新しいバージョンの茶筌への対応の他、以下のような変更が加えられます。

>■データ中に半角「\」「"」「'」が含まれている場合、エラー回避のために、処理の前にこれらを全角に変換するように修正
>■「前処理効率化のためにデータをRAMに読み出す」という設定がオンになっていても、RAM(メモリ)におさまらないくらい大きなデータを扱う際には、データのRAMへの読み出しを避けるように修正した。(これまでは問答無用でRAMへの読み出しを試み、RAMにおさまらずに失敗すると、エラー表示が出て前処理が止まっていた)
>■各種データ出力の際に、kh_coder.exeと同じ場所に「temp.txt」という名称のファイルを保存しようとすると失敗するバグの修正
>■「『抽出語x文脈ベクトル』表の出力」コマンド実行時に、エラー表示が出て処理が止まってしまう場合があるバグを修正

# なにはともあれ、Linux上で使ってくださる方がいらっしゃるとは、嬉しいおどろきでした。


- 関連一覧ツリー (■ をクリックするとツリー全体を一括表示します)

- 以下のフォームから自分の投稿記事を修正・削除することができます -
処理 記事No 暗証キー