KH Coder 掲示板
[ツリー表示] [留意事項] [ワード検索] [過去ログ] [管理用]

  [No.3843] Re: データサイズの問題について 投稿者:HIGUCHI Koichi  投稿日:2018/10/22(Mon) 16:49:05

こんにちは、樋口です。書き込みありがとうございます。

これはメモリが足りない場合に生じるエラーです。共起ネットワーク作成には
Rを利用していますが,Rは全データをメモリ上に読み出すので,メモリ容量が
制約になります。

テキストファイル・データファイルの容量と言うよりは,「文書数」が問題に
なります。このデータでは113万件ほどですね。処理できたデータの方は,文
書数がもっと少なかったということはないでしょうか?

何年も前に書いたので,少し情報が古くなっている面がありますが,こちらの
FAQ記事がご参考になるやもしれません。
http://khcoder.net/FAQ.html#d-size

※FAQ記事には文書数10,000以下と記載していますが,おそらく,お使いのPC
であれば100,000くらいまでは大丈夫かなと思います。


- 関連一覧ツリー (■ をクリックするとツリー全体を一括表示します)

- 以下のフォームから自分の投稿記事を修正・削除することができます -
処理 記事No 暗証キー