[掲示板へもどる]
一括表示

  [No.1629] [Mac] 新規プロジェクトで落ちます 投稿者:Nami  投稿日:2014/04/22(Tue) 17:18:08

樋口先生

はじめまして、KHCoderを使わせていただこうと考えている学生です。
Mac OS(10.9.2)でhttp://khc.sourceforge.net/mac.htmlの手順通りに行って起動はしたのですが、新規プロジェクトでチュートリアルの「こころ」のデータを選びOKを押すと


/Users/◯/perl/kh_coder/tutorial-data-2x/tutorial_jp/coder_data/
perl(45095,0x7fff7a7b4310) malloc: *** error for object 0x7fff55cc2478: pointer being freed was not allocated
*** set a breakpoint in malloc_error_break to debug
Abort trap: 6

このようになって強制終了します。
いろいろイジってみましたが、普段からコマンド操作を行わない素人なのでどうすればいいのかわかりません。
もし何か解決策があれば、教えていただけないでしょうか。
よろしくお願いします。


KHCoderを起動させた時はこうなっています。

bash-3.2$ cd perl/kh_coder
bash-3.2$ perl kh_coder.pl
defined(@array) is deprecated at /Users/◯/perl/kh_coder/kh_lib/kh_projects.pm line 221.
(Maybe you should just omit the defined()?)
This is KH Coder 2.beta.31 on darwin.
CWD: /Users/◯/perl/kh_coder
R Version: 3.1, x86_64
Using un-threaded functions...


  [No.1630] Re: 新規プロジェクトで落ちます 投稿者:HIGUCHI Koichi  投稿日:2014/04/22(Tue) 18:39:00

こんにちは、樋口です。書き込みありがとうございます。

うーん、難しいですね。この問題を解決できるかどうか確信を持てませんが、
ひとまず思い当たるのは以下のような点です。

おそらくは、PerlのDBD::mysqlモジュールのインストールに何か問題があって、
このモジュールを使おうとしてエラーになっているのかなと思います。以下の
手順で、この点を確認することができるでしょう。

kh_lib/kh_projects.pmをテキストエディタで開き、112行目を見ると以下のよ
うな記述があります。

> # MySQL DBの整備
> $new->prepare_db;
> $new->read_hinshi_setting;

この部分を以下のように修正して上書き保存します。

> # MySQL DBの整備
> print "debug 1\n"; # この行を追加
> $new->prepare_db;
> print "debug 2\n"; # この行を追加
> $new->read_hinshi_setting;
> print "debug 3\n"; # この行を追加

その上で、新規プロジェクトの作成を行います。コンソールに「debug 1」が
表示されたあと、「debug 2」が表示されずにエラーとなっていれば、DBD::my
sqlモジュールの問題で間違いないでしょう。

「debug 2」が表示された後、「debug 3」が表示されずにエラーとなっていれ
ば、DBD::CSVモジュールが怪しそうです。

「debug 3」まで表示されている場合や、「debug 1」すら表示されない場合は、
別の問題ということなります。

仮にDBD::mysqlかDBD::CSVが問題になっている場合は、問題のモジュールを再
インストールしてみたり、アンインストールしたうえでMacPortからインスト
ールしてみたりといったことを試してみるとよいかもしれません。

モジュールの再インストールではだめな場合、Perlを丸ごとActivePerl 5.16
に入れ替えてみるという方法もありうるでしょう。(ただActivePerlのPPM Re
positoryに、必要なモジュールがすべてあるかどうかちょっと分かりません)


  [No.1639] Re: 次は前処理の実行で落ちます 投稿者:Nami  投稿日:2014/04/29(Tue) 23:37:11

樋口先生

こんにちは。返信がだいぶ遅れて申し訳ありません。
コマンド操作で遊んでいたらアプリケーションが全部吹き飛んで、復旧に時間がかかってしまいました。

樋口先生の仰るとおりにやってみたところ、debug1となりました。
ただ、この後に上記のことが起きたので、OSを再インストールとして一からやり直してみたところ、別の形で問題が現れました。

<ここの問題はおそらく解決>
perl kh_coder.pl

で、kh_coderを起動させようとしたら、

Can't locate DBD/mysql.pm in @INC (@INC contains: /opt/local/lib/perl5/site_perl/5.16.3/darwin-thread-multi-2level /opt/local/lib/perl5/site_perl/5.16.3 /opt/local/lib/perl5/vendor_perl/5.16.3/darwin-thread-multi-2level /opt/local/lib/perl5/vendor_perl/5.16.3 /opt/local/lib/perl5/5.16.3/darwin-thread-multi-2level /opt/local/lib/perl5/5.16.3 /opt/local/lib/perl5/site_perl /opt/local/lib/perl5/vendor_perl/5.16.1/darwin-thread-multi-2level /opt/local/lib/perl5/vendor_perl/5.16.1 /opt/local/lib/perl5/vendor_perl . /Users/nakanohito/perl/kh_coder/kh_lib) at /Users/nakanohito/perl/kh_coder/kh_lib/kh_projects.pm line 6.
BEGIN failed--compilation aborted at /Users/nakanohito/perl/kh_coder/kh_lib/kh_projects.pm line 6.
Compilation failed in require at kh_coder.pl line 126.
BEGIN failed--compilation aborted at kh_coder.pl line 126.

となり、DBDのmake testがダメ?らしく

# perl Makefile.PL --testuser=user --testdb=db --testhost=host --testpassword=pass
# make
# make test
# make install

としたところ、kh_coderは起動するようになり
先日ご相談させていただいた、「こころ」の新規プロジェクトも無事に立ち上がるようになりました。

<ここから再び問題発生>
そして、前処理→分析ファイルのチェックを行うと、
[分析ファイル内に〜安全に実行できると考えられます。]と表示されるのですが

→前処理の実行を行うと、
[前処理データの整合性が失われました。bun_bun_r2,bun_bun_r2,bun_bun_r2・・・]となり、OKをクリックするとkh_coderが強制終了します。

このときのxtermはこうなっています。

Connected to MySQL 5.5, khc0.
Performed "SET NAMES ujis"
Checking icode... sjis
gui_wait: making new...
Checking icode... sjis
input-buffer overflow. The line is split. use -b #SIZE option.
input-buffer overflow. The line is split. use -b #SIZE option.
input-buffer overflow. The line is split. use -b #SIZE option.
input-buffer overflow. The line is split. use -b #SIZE option.
(↑これが50個ぐらい続く)
Morpho1 12 wallclock secs ( 0.48 usr 0.47 sys + 1.15 cusr 1.19 csys = 3.29 CPU)
Read 4 wallclock secs ( 0.01 usr + 0.01 sys = 0.02 CPU)
Format 6 wallclock secs ( 0.07 usr + 0.00 sys = 0.07 CPU)
Strat1 8 wallclock secs ( 0.90 usr + 0.03 sys = 0.93 CPU)
Strat2 4 wallclock secs ( 0.01 usr + 0.00 sys = 0.01 CPU)
RawTXT 1 wallclock secs ( 0.18 usr + 0.00 sys = 0.18 CPU)
df 5 wallclock secs ( 0.00 usr + 0.01 sys = 0.01 CPU)
fc 1 wallclock secs ( 0.01 usr + 0.00 sys = 0.01 CPU)
sh: line 1: 1941 Killed: 9 /usr/bin/R --slave --vanilla < start.r > output.log


mysqlあたりがダメなのかなと感じていますが、コンピュータの基本的な知識がほとんどないので問題の在処を探し出すことができません。
何か解決策が教えていただけないでしょうか。
よろしくお願いします。


  [No.1640] Re: 次は前処理の実行で落ちます 投稿者:HIGUCHI Koichi  投稿日:2014/04/29(Tue) 23:52:34

こんにちは、樋口です。書き込みありがとうございます。

「input-buffer overflow」をGoogle検索すると、MeCabが出しているエラーの
ようですね。

試しに、KH Coderのメニューから「プロジェクト」「設定」と進めて、「MeCa
b」の下の「Unicode辞書」にチェックを入れて「OK」をクリックし、その後「
前処理」を行ってみるといかがでしょうか。


  [No.1641] Re: 次は前処理の実行で落ちます 投稿者:Nami  投稿日:2014/04/30(Wed) 16:30:07

樋口先生

やってみたところダメでした。
ただ、kh_coderの画面を閉じた後

&#65533;&#1657;&#65533;&#65533;&#229;&#65533;&#65533;&#65533;&#65533;&#65533;:
In Sys.setlocale(category = "LC_ALL", locale = "ja_JP.EUC-JP") :
ロケールを "ja_JP.EUC-JP" に設定せよとの OS のレポート要求は受け入れられません

と出るときがあります。


  [No.1642] Re: 次は前処理の実行で落ちます 投稿者:HIGUCHI Koichi  投稿日:2014/04/30(Wed) 16:56:01

こんにちは、樋口です。書き込みありがとうございます。

> In Sys.setlocale...

これはRのエラーなので、まだ先の問題です。ひとまず当面の問題はMeCabと
MySQLが関係する前処理ですね。

[1] kokoro2.txtファイルと同じ場所に、coder_dataというフォルダが作成さ
れていて、その中に「kokoro2_ch.txt」というファイルが生成されていると思
います。このファイルにはEUC-JPでMeCabによる分かち書きの結果が入ってい
るはずなのですが、いかがでしょうか? 文字化けしていたり、EUC-JP以外の
文字コードになったりしていないでしょうか?

[2] kh_lib/kh_morpho/linux/mecab.pmをテキストエディタで開き、以下の行
を探してください。

> $self->{cmdline} = "mecab -Ochasen -o \"$self->{output_temp}\" \"$self->{target_temp}\"";

この行に、以下のように「-b 819200」を追加して、上書き保存してください。

> $self->{cmdline} = "mecab -b 819200 -Ochasen -o \"$self->{output_temp}\" \"$self->{target_temp}\"";

これで、KH Coderを再起動して前処理を試してみるといかがでしょうか。
「input-buffer overflow.」が消えないかどうか、見てみてください。


  [No.1643] Re: 次は前処理の実行で落ちます 投稿者:Nami  投稿日:2014/04/30(Wed) 17:53:08

樋口先生

kokoro2_ch.txtは文字化けしており、ISO 2022-JPになっていました。

「-b 819200」を追加してkh_coderを起動してみたましたが、「input-buffer overflow.」は消えませんでした。


  [No.1644] kokoro2_ch.txtの状況について 投稿者:HIGUCHI Koichi  投稿日:2014/04/30(Wed) 18:03:52

こんにちは、樋口です。書き込みありがとうございます。

> kokoro2_ch.txtは文字化けしており、ISO 2022-JPになっていました。

これはどういう意味でしょうか? 文字コードをEUC-JPと指定して開くと文字化けしているけれど、ISO 2022-JPと指定して開くと、きちんと中身が見えると言うことでしょうか?

また、「Unicode辞書」にチェックを入れた場合とそうでない場合とでは、結果は変わるでしょうか?


  [No.1648] Re: kokoro2_ch.txtの状況について 投稿者:Nami  投稿日:2014/04/30(Wed) 18:28:54

樋口先生

> kokoro2_ch.txtは文字化けしており、ISO 2022-JPになっていました。

変に書いて申し訳ありません。
Cot Edittorで開いたとき、最初はISO 2022-JPになっており、EUC-Jに変換または再解釈しようとしたらできませんでした。


Unicode辞書はチェック有無にかかわらず
どちらともinput-buffer overflow. The line is split. use -b #SIZE option.になりますが、
チェックを外すと、kokoro2_ch.txtの文字化けはなくなり、最初からEUC-Jになっています。


  [No.1649] Re: kokoro2_ch.txtの状況について 投稿者:HIGUCHI Koichi  投稿日:2014/04/30(Wed) 19:11:31

こんにちは、樋口です。書き込みありがとうございます。

そうすると、「Unicode辞書」にはチェックを入れない方が良いようです。こ
のチェックは外しておいてください。

また別ポストに書いたMeCab単体でのチェックについては、入力元のファイル
(kokoro2.txt)をEUC-JP・改行LFにしておくと、成功する可能性が高いので
はないかと思います。それでもエラー or 文字化けになるようであれば、一度
MeCabのインストールをやり直しても良いかもしれません。
http://koichi.nihon.to/cgi-bin/bbs_khn/khcf.cgi?no=1646&reno=1643&oya=1629&mode=msgview


  [No.1646] MeCab単体での動作確認を 投稿者:HIGUCHI Koichi  投稿日:2014/04/30(Wed) 18:12:49

こんにちは、樋口です。書き込みありがとうございます。

> 「-b 819200」を追加してkh_coderを起動してみたましたが、「input-buffer
> overflow.」は消えませんでした。

KH Coder以前の問題として、MeCabが単体で機能する状況になっているかどう
かをご確認ください。

ターミナルで、

> mecab -Ochasen -o output.txt kokoro2.txt

のように実行して、output.txtに形態素解析の結果がきちんと入っていれば、
mecab単体できちんと動いていることになります。

kokoro2.txtの文字コードをutf8にするとどうか、eucにするとどうかなど、試
してみると良いでしょう。

これが上手くいくようになったら、kokoro2.txtの文字コードを何にした時に
上手くいくのかお知らせください。その後、KH Coderでの分析へ進んでいきま
しょう。


  [No.1650] Re: MeCab単体での動作確認を 投稿者:Nami  投稿日:2014/04/30(Wed) 21:57:32

樋口先生

> mecab -Ochasen -o output.txt kokoro2.txt

をやってみたところ下記のように出力されたので大丈夫なようです。
kokoro2.txtはEUC-JP・改行LFにしておきました。

< < <
名詞-サ変接続
H H H
名詞-一般
1 1 1
名詞-数
> > >
名詞-サ変接続
上 ジョウ 上
名詞-接尾-副詞可能
_ _ _
記号-一般
先生 センセイ 先生 名詞-一般


また

>mecab
私はその人を常に先生と呼んでいた。だからここでもただ先生と書くだけで本名は打ち明けない。

と打つと

?
&#830;??,????,*,*,*,*,?,????,????
?はその
????,????,*,*,*,*,*
人?
&#830;??,??&#877;&#830;??,?&#575;?,*,*,*,*
??
????,????,*,*,*,*,*
?
&#830;??,????,*,*,*,*,?,??,??
??
&#830;??,????,*,*,*,*,??,???,???
??先生と呼んでいた。だからここ?
????,????,*,*,*,*,*
??
&#830;??,??&#877;&#830;??,?&#575;?,*,*,*,*
??ただ先生と書くだけ?
????,????,*,*,*,*,*
??
&#830;??,??&#877;&#830;??,?&#575;?,*,*,*,*
??名は打ち明け?
????,????,*,*,*,*,*
??
&#830;??,??&#877;&#830;??,?&#575;?,*,*,*,*
??。
????,????,*,*,*,*,*
EOS

となったのが気になりました。
一応再インストールもしてみました。


  [No.1651] Re: MeCab単体での動作確認を 投稿者:HIGUCHI Koichi  投稿日:2014/04/30(Wed) 22:14:57

こんにちは、樋口です。書き込みありがとうございます。

> mecab -Ochasen -o output.txt kokoro2.txt

のような形で、MeCab単体で起動した場合は、下記のエラーは出ましたか?

> input-buffer overflow. The line is split. use -b #SIZE option.


  [No.1652] Re: MeCab単体での動作確認を 投稿者:Nami  投稿日:2014/04/30(Wed) 22:28:34

樋口先生

コマンド上エディタ上ともに出てこないです。


  [No.1653] Re: KH Coderにもどって 投稿者:HIGUCHI Koichi  投稿日:2014/04/30(Wed) 22:37:09

こんにちは、樋口です。書き込みありがとうございます。

その状態で、KH Coderの前処理を試みると「input-buffer overflow」
になるのでしょうか?

その場合は、coder_dataフォルダに生成された「kokoro2_ch.txt」と下記ファ
イルとを比べてみるといかがでしょう。ファイル全体の行数や分かち書きのさ
れ方などに、何か違いはあるでしょうか?
http://koichi.nihon.to/psnl/tmp/kokoro2_ch.zip

また、coder_dataフォルダの「kokoro2_mph.txt」というファイルも眺めてみ
てください。このファイルは基本的に「kokoro2.txt」と同じ内容のはずです
が、なにか「kokoro2.txt」と変わっているところはあるでしょうか?


  [No.1654] Re: KH Coderにもどって 投稿者:Nami  投稿日:2014/04/30(Wed) 23:42:40

樋口先生

>その状態で、KH Coderの前処理を試みると
これはターミナルで
>mecab -Ochasen -o output.txt kokoro2.txt
を入力した後に
XQuartzでKH Coderを起動させて前処理を行うということで大丈夫ですか?


「kokoro2_ch.txt」と頂いたファイルの違いは

行数
kokoro2_ch.txt・・108306行
頂いたファイル ・・107935行

最初の部分


・kokoro2_ch.txt

<H1>
<H1>
<H1>
タグ

ウエ

名詞-一般
_
_
_
記号-一般
先生
センセイ
先生
名詞-一般



助詞-並立助詞

ワタシ

名詞-代名詞-一般
EOS

ウエ

名詞-一般
_
_
_
記号-一般
先生
センセイ
先生
名詞-一般



助詞-並立助詞

ワタシ

名詞-代名詞-一般



・頂いたファイル

<H1>
<H1>
<H1>
タグ

ウエ

名詞-一般
_
_
_
記号-一般
先生
センセイ
先生
名詞-一般



助詞-並立助詞

ワタシ

名詞-代名詞-一般






段落


・kokoro2_ch.txt

<H2>
<H2>
<H2>
タグ

ナナ

名詞-数
EOS

ナナ

名詞-数
</H2>
</H2>
</H2>
タグ



・頂いたファイル

<H2>
<H2>
<H2>
タグ



ナナ

名詞-数


</H2>
</H2>
</H2>
タグ




「kokoro2_mph.txt」と「kokoro2.txt」の違いはおそらくないと思います。


  [No.1655] Re: KH Coderにもどって 投稿者:HIGUCHI Koichi  投稿日:2014/05/01(Thu) 00:21:10

こんにちは、樋口です。書き込みありがとうございます。

せっかく書き込んでいただけるのでしたら、もう少し多めに情報を添えるよう
に、「どんな情報が役立ちそうか」を考えるように試みていただけると、問題
解決により早く近づけるかなと思います。

さて、「その状態で」というのは、

> mecab -Ochasen -o output.txt kokoro2.txt

が成功する状態で、なおかつ「Unicode辞書」のチェックを外した状態で、と
いう意図でした。つまり、(これまでの経緯からすると)普通にKH Coderを起
動して前処理を実行したら、ということになるかと思います。

その状態で、「input-buffer overflow」は出ているのでしょうか?


> kokoro2_ch.txt・・108306行
> 頂いたファイル ・・107935行

行数が増えていますね。どういう違いがあって、行数が増えているのでしょう?
行数が増えている箇所を探してみてください。

※1 違っている箇所を探すためには、たとえば以下のような方法があります。
両方のファイルをUTF-8・改行LFにします。そしてFileMerge.appを検索・起動
すれば、2つのファイルを比べられます。スクロールバーの部分に線が表示さ
れていれば、その箇所に何か違いがあるということです。違っているところが
水色でハイライト表示されているはずです。

ご参考: http://d.hatena.ne.jp/seuzo/20100913/1284354682

※2 ファイル内容を掲示板に貼り付ける際には、タブ文字をスペースに置換
してください。

> 「kokoro2_mph.txt」と「kokoro2.txt」の違いはおそらくないと思います。

行数も同じでしょうか?


  [No.1656] Re: KH Coderにもどって 投稿者:Nami  投稿日:2014/05/01(Thu) 02:51:26

樋口先生

誤解を与えて申し訳ありません。樋口先生の書いた文をきちんと読んでいないのではなく、無知ゆえに、もしかしてMeCab単体を動作させると同時にKH Coderの前処理もクリックする必要があるのかもしれない、と思ったからです。

稚拙な文に丁寧にご対応いただきありがとうございます。


「input-buffer overflow」は、その状態でも現れます。

File Mergeで調べたところ、行数が増えた原因は
元からあった「kokoro2_ch.txt」の

<H2><H2><H2>

</H2></H2></H2>

のように挟まれている部分が

七 ナナ 七 名詞-数
EOS
七 ナナ 七 名詞-数

のように同じ文がEOSを挟んで再び出現していることが原因で
これが371行分増加させています。

他にも増加とは関係ありませんが
Kがアルファベットとして分類されるかタグとして分類されるなどの違いがありました。



「kokoro2_mph.txt」と「kokoro2.txt」の違いは一切ありませんでした。
行数も一致しています。


  [No.1657] Re: KH Coderにもどって[追記あり] 投稿者:HIGUCHI Koichi  投稿日:2014/05/01(Thu) 09:11:30

こんにちは、樋口です。書き込みありがとうございます。

誤解は問題ありません。問題なのは、とにかくお書きいただく情報が少ないと
いうか、状況が相手にも伝わるだけの十分な説明がないというか、そういった
ことです。

たとえば今回も、お書きいただいた説明だけでは、そちらの「kokoro2_ch.txt」
の内容がクリアには分かりません。

確認なのですが、お書きいただいた部分は、本来はこのようになるはずなので
すが、

> <H2> <H2> <H2> タグ
> 七 ナナ 七 名詞-数
> </H2> </H2> </H2> タグ
> EOS
> EOS

上のようにはなっておらず、下のようになっているということでしょうか?

> <H2> <H2> <H2> タグ
> 七 ナナ 七 名詞-数
> EOS
> 七 ナナ 七 名詞-数
> </H2> </H2> </H2> タグ
> EOS
> EOS

また、「七」に限らず、他の数字のところでも発生している感じでしょうか?
どういうところで、この「繰り返し」が発生しているのかという、規則性・パ
ターンが分かれば、解決につながりますので…。

なお今回は、文章で記述するのは大変かもしれませんので、そうする代わり
に当該のファイル(kokoro2_ch.txt)をメールでお送りいただいて結構です。


  [No.1658] Re: ファイル保存場所、アンチウイルス、同期 投稿者:HIGUCHI Koichi  投稿日:2014/05/01(Thu) 10:35:25

こんにちは、樋口です。書き込みありがとうございます。

分析対象ファイル「kokoro2.txt」を置いている場所は、USBメモリのような
外付けの場所でしょうか?

もしそうであれば、ホームフォルダ内の場所(内蔵HDDまたはSSDの中)に保
存して、そのファイルを再度「プロジェクト」として登録し、お試しいただ
くと良いかもしれません。

それから、アンチウイルス・ソフトをインストールされている場合、それを
一時的に無効にして、前処理をお試しいただくのも良いかと思います。

また、もしもDropboxか、それに類するものでファイルの同期をなさっている
場合、一時的に同期を停止して前処理をお試しください。Dropboxの同期が動
いていると、前処理に失敗することが分かっています。


  [No.1659] Re: ファイル保存場所、アンチウイルス、同期 投稿者:Nami  投稿日:2014/05/02(Fri) 00:08:34

樋口先生

何度もお手数をお掛けして申し訳ありません。


> <H2> <H2> <H2> タグ
> 七 ナナ 七 名詞-数
> </H2> </H2> </H2> タグ
> EOS
> EOS

>上のようにはなっておらず、下のようになっているということでしょうか?

> <H2> <H2> <H2> タグ
> 七 ナナ 七 名詞-数
> EOS
> 七 ナナ 七 名詞-数
> </H2> </H2> </H2> タグ
> EOS
> EOS

はい、そういうことです。

これが七だけに限らず、他の数字(<HX>〜<HX>となっているところすべて)でまったく同じように発生しています。行の増加分はこれだけが原因です。「output.txt」ではこのような重複はありませんでした。一応確認のためファイルを送らせて頂きます。


「kokoro2.txt」は最初からホームフォルダ内に置いてあります。

アンチウイルスソフトをアンインストールして、ファイアウォールを切り、iCloudとDropboxをログアウトした上で前処理を行ってみましたが、状況が変わらず「input-buffer overflow」となるだけでした。


  [No.1660] Re: mecab.pmの変更テスト 投稿者:HIGUCHI Koichi  投稿日:2014/05/02(Fri) 01:56:46

こんにちは、樋口です。書き込みありがとうございます。
根気よくおつきあいいただき、痛み入ります。

さて、KH CoderとMeCabの間のデータのやりとりに問題が起きているというと
ころまでははっきりしてきました。

MeCabからChaSenに変えてみるというのも一手ですが、それはそれである程度
面倒な操作が必要です。もう少し、MeCabでなんとかならないかお試しいただ
くのが良いかと思います。

つきましては、以下の手順をお試しいただけるでしょうか。

[1] まずkh_lib/kh_morpho/linux/mecab.pmを「mecab.pm.org」のようにリネ
ームしてください。

[2] そして、下記zipファイルをダウンロードして、中に含まれる「mecab.pm
」をkh_lib/kh_morpho/linux/フォルダにコピーします。
http://koichi.nihon.to/psnl/tmp/mecab1.zip

[3] KH Coderを再起動して前処理を実行し、「input-buffer overflow」が相
変わらず出て、相変わらず前処理が失敗するかどうかをお知らせください。

[4] 相変わらずエラーで失敗する場合、下記zipファイルをダウンロードして、
中に含まれる「mecab.pm」をkh_lib/kh_morpho/linux/フォルダに上書きコピ
ーします。そしてKH Coderを再起動して前処理を実行し、「input-buffer
overflow」が相変わらず出て、相変わらず前処理が失敗するかどうかをお知ら
せください。下記ファイルを使うと、前処理に延々と時間がかかると思います
ので、気長にお待ちください。
http://koichi.nihon.to/psnl/tmp/mecab2.zip


  [No.1662] Re: mecab.pmの変更テスト 投稿者:Nami  投稿日:2014/05/02(Fri) 17:13:22

樋口先生

多くのお時間を割いていただき本当にありがとうございます。

[1]から[4]までやってみましたが、ダメでした。

[3]の場合も[4]の場合も以前と同じように「input-buffer overflow」が出て、khcoderが終了します。[4]は処理に多少時間がかかりましたが、結果はまったく変わりません。


  [No.1663] Re: perlapp版のテスト 投稿者:HIGUCHI Koichi  投稿日:2014/05/02(Fri) 17:43:40

こんにちは、樋口です。書き込みありがとうございます。

うーん、なかなか手強いですね。

念のために再度ご確認いただきたいこととしては、アンチウイルス、バックア
ップ、ファイル同期のようなソフトが動いていないかという点です。これらの
種類に限らず、KH Coderによるディスクへの書き込みに割り込んだり、書き込
みを遅延させたりする可能性がありそうなソフトウェア、何かお使いでないで
しょうか?

次に、このファイルをダウンロードして、Zipの中身「kh_coder」をkh_coder.pl
と同じ場所に置いてください。
http://koichi.nihon.to/psnl/tmp/kh_coder.zip

そして、ターミナルから「perl kh_coder.pl」ではなく、「./kh_coder」を実
行することで、このファイルを起動してみください。

そして前処理を実行し、「input-buffer overflow」が出るかどうかをご覧く
ださい。

※なお、これはActivePerl + perlappで作成したMac版実行ファイルです。もし
現在お使いのPerlやPerlモジュールに何か問題があって、エラーとなっている
場合には、これで解決するはずです。これで解決しなければ、他にインストール
されている何らかのソフトとの相性か、あるいはmecabのバージョン等の問題か、
あるいは…、なんだろう?というところです。

根本的な原因が分からないままの手探りではありますが…。


  [No.1664] Re: perlapp版のテスト 投稿者:Nami  投稿日:2014/05/02(Fri) 20:28:43

樋口先生

ありがとうございます。

アンチウイルスソフトは一時的にアンインストールして、Dropbox、TimeMachine、iCloudを切っているので大丈夫そうですが、この原因が一番ありそうそうですね。アクティビティモニタとアプリケーション、システム環境設定を巡回して怪しそうなのを外してやってみましたが、「input-buffer overflow」のままでした。上記のソフト以外でファイル同期、バックアップソフトは所有していないと思います。


Zipの中身の「kh_coder」を、「./kh_coder」で実行してみても「input-buffer overflow」が出ました。

邪魔なソフトがどこかに隠れているか、今も探していますが見つかりません。


  [No.1665] Re: MeCabからChaSenへ 投稿者:HIGUCHI Koichi  投稿日:2014/05/02(Fri) 20:56:26

こんにちは、樋口です。書き込みありがとうございました。

ちょっと方針を変えて、mecabからchasenに切り替えてみましょうか。chasen
を使う方が、KH Coderとのデータのやりとりがシンプルなので、改善の可能性
はあると思います。


[1] chasenをインストールするために、ターミナルで以下のコマンドを実行し
ます。

> sudo port install chasen +ipadic

[2] KH Coderがカスタマイズできる辞書(ipadic)を準備します。

http://sourceforge.jp/projects/ipadic/releases/ からipadic-2.7.0.tar.g
zをダウンロードして、ダブルクリックして解凍します。出てきたipadic-2.7.
0フォルダをホーム・フォルダ(※1)にコピーします。

そして、ターミナルでコピーしたipadic-2.7.0フォルダに移動し、以下を実行
します。「make install」は不要です。

> ./configure
> make

次に、フォルダ内の「chasenrc」をテキストエディタで開きます。そして以下
のような行を探してください。

> (GRAMMAR /opt/local/lib/chasen/dic/ipadic)

この行を以下のように書き換えて上書き保存します。「username」のところは
お使いのユーザー名に置き換えてください。

> (GRAMMAR /Users/username/ipadic-2.7.0)

[3] KH Coderがchasenを使うよう設定します。

KH Coderを起動し、メニューから「プロジェクト」「設定」をクリックします。
「茶筌」を選択します。また「chasenrcのパス」というところで「参照」をク
リックし、先ほどホーム・フォルダにコピーして編集した「ipadic-2.7.0」内
の「chasenrc」を開きます。また「grammer.cha」のパスも、同様に「ipadic-
2.7.0」内の「grammer.cha」を指定します。

[4] 前処理を実行してみてください。

今度こそ、前処理が完了すると良いなと思うのですが、いかがでしょうか。


※1 ホームフォルダ(/Users/username/)の真下でなくとも、
/Users/username/khcoder/のような場所にコピーしていただいても結構です。
その場合には[2]の最後で書き換えるパスと、[3]KH Coder上での指定も変更
してください。


  [No.1666] Re: MeCabからChaSenへ 投稿者:Nami  投稿日:2014/05/02(Fri) 23:03:39

樋口先生

おお、前処理初めて成功しました。


  [No.1667] Re: MeCabからChaSenへ 投稿者:Nami  投稿日:2014/05/05(Mon) 00:32:49

樋口先生

やっぱり私のPCソフトの何かが原因っぽい感じです。
共起ネットワークや出現回数の分布をプロットしようとしたところ、
Statistics::R::Bridge::pipe::read_processR, Sleep and Retry!や
Statistics::R::Bridge::pipe::send, signal from read_processRのように表示され、Rのバージョンを下げたりしてみたのですが、ダメでした。
過去の掲示板を見ても、私と同じような症状の場合は大抵ウイルスソフトが原因だった場合が多かったのでおそらくそうなのでしょう。

長い時間ご丁寧に対応していただきありがとうございました。
とりあえずは、Mac KH Coderは一時寝かせておいて、BootCampにWindowsを導入するなどして使おうと思います。

大変お手数をお掛けして申し訳ありませんでした。


  [No.1668] Re: Rの実行について 投稿者:HIGUCHI Koichi  投稿日:2014/05/05(Mon) 00:55:02

こんにちは、樋口です。書き込みありがとうございます。

> Statistics::R::Bridge::pipe::read_processR, Sleep and Retry!
> Statistics::R::Bridge::pipe::send, signal from read_processR

これらが表示されること自体は正常であり、特に問題ありません。

これらが表示された後に、KH Coder上で何か別のエラーがでたり、プロットが
表示されなかったりということでしょうか?

KH CoderとRとのやりとりも(MeCabの場合と同様)ファイルを通してのやりと
りです。KH Coderがファイルに書き込んだ情報を、Rが読み取るといった形で
す。こうしたプロセス間のやりとりというか、ファイルへのアクセスを邪魔し
そうな何かがありそうに思うのですが、突き止められず残念です。