腹立つなァ....
検索してみるとみんな苦労しているようだが、
エラー内容もその対応も様々。
# pip install mecab-python3
Collecting mecab-python3
Using cached https://files.pythonhosted.org/packages/ac/48/295efe525df40cbc2173748eb869290e81a57e835bc41f6d3834fc5dad5f/mecab-python3-0.996.1.tar.gz
Installing collected packages: mecab-python3
Running setup.py install for mecab-python3 ... error
Complete output from command /usr/bin/python3.6 -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-hzcdo768/mecab-python3/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-5w7so2s3/install-record.txt --single-version-externally-managed --compile:
/usr/lib64/python3.6/distutils/dist.py:261: UserWarning: Unknown distribution option: 'long_description_content_type'
warnings.warn(msg)
running install
running build
running build_py
running build_ext
building '_MeCab' extension
swigging MeCab.i to MeCab_wrap.cpp
swig -python -shadow -c++ -I/usr/local/include -o MeCab_wrap.cpp MeCab.i
/usr/local/include/mecab.h:848: Warning(302): Identifier 'set_sentence' redefined by %extend (ignored),
MeCab.i:88: Warning(302): %extend definition of 'set_sentence'.
creating build
creating build/temp.linux-x86_64-3.6
gcc -pthread -Wsign-compare -DDYNAMIC_ANNOTATIONS_ENABLED=1 -DNDEBUG -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -fPIC -I/usr/local/include -I/usr/include/python3.6m -c MeCab_wrap.cpp -o build/temp.linux-x86_64-3.6/MeCab_wrap.o
MeCab_wrap.cpp: In function ‘swig_module_info* SWIG_Python_GetModule()’:
MeCab_wrap.cpp:2452: error: ‘PyCObject_Import’ was not declared in this scope
MeCab_wrap.cpp: In function ‘void SWIG_Python_SetModule(swig_module_info*)’:
MeCab_wrap.cpp:2521: error: ‘PyCObject_FromVoidPtr’ was not declared in this scope
MeCab_wrap.cpp:2512: 警告: unused variable ‘swig_empty_runtime_method_table’
MeCab_wrap.cpp: In function ‘swig_type_info* SWIG_Python_TypeQuery(const char*)’:
MeCab_wrap.cpp:2544: error: ‘PyCObject_AsVoidPtr’ was not declared in this scope
MeCab_wrap.cpp:2549: error: ‘PyCObject_FromVoidPtr’ was not declared in this scope
error: command 'gcc' failed with exit status 1
----------------------------------------
Command "/usr/bin/python3.6 -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-hzcdo768/mecab-python3/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-5w7so2s3/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-install-hzcdo768/mecab-python3/
ログを見てみる。
#### # pip install mecab-python3
実行したコマンド。
コマンドがないとかいうエラーはない。
#### Collecting mecab-python3
####
#### Using cached https://files.pythonhosted.org/packages/ac/48/295efe525df40cbc2173748eb869290e81a57e835bc41f6d3834fc5dad5f/mecab-python3-0.996.1.tar.gz
このtar.gzファイルをダウンロードしてインストールしているようだ。
#### Installing collected packages: mecab-python3
####
#### Running setup.py install for mecab-python3 ... error
で、setup.pyが error になっている。
#### Complete output from command /usr/bin/python3.6 -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-hzcdo768/mecab-python3/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-5w7so2s3/install-record.txt --single-version-externally-managed --compile:
以下が setup.pyのエラーの詳細かな。
####
#### /usr/lib64/python3.6/distutils/dist.py:261: UserWarning: Unknown distribution option: 'long_description_content_type'
これはワーニング
####
#### warnings.warn(msg)
####
#### running install
####
#### running build
####
#### running build_py
####
#### running build_ext
####
#### building '_MeCab' extension
####
#### swigging MeCab.i to MeCab_wrap.cpp
####
#### swig -python -shadow -c++ -I/usr/local/include -o MeCab_wrap.cpp MeCab.i
「swigがインストールされていない」という人がいたが、swigはインストールされている。
####
#### /usr/local/include/mecab.h:848: Warning(302): Identifier 'set_sentence' redefined by %extend (ignored),
これもワーニング
####
#### MeCab.i:88: Warning(302): %extend definition of 'set_sentence'.
これもワーニング
####
#### creating build
####
buildを作成
#### creating build/temp.linux-x86_64-3.6
####
#### gcc -pthread -Wsign-compare -DDYNAMIC_ANNOTATIONS_ENABLED=1 -DNDEBUG -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic -D_GNU_SOURCE -fPIC -fwrapv -fPIC -I/usr/local/include -I/usr/include/python3.6m -c MeCab_wrap.cpp -o build/temp.linux-x86_64-3.6/MeCab_wrap.o
gccを呼び出し
####
#### MeCab_wrap.cpp: In function ‘swig_module_info* SWIG_Python_GetModule()’:
####
#### MeCab_wrap.cpp:2452: error: ‘PyCObject_Import’ was not declared in this scope
エラー。PyCObject_Import が宣言されていない。
####
#### MeCab_wrap.cpp: In function ‘void SWIG_Python_SetModule(swig_module_info*)’:
####
#### MeCab_wrap.cpp:2521: error: ‘PyCObject_FromVoidPtr’ was not declared in this scope
エラー。PyCObject_FromVoidPtr が宣言されていない。
####
#### MeCab_wrap.cpp:2512: 警告: unused variable ‘swig_empty_runtime_method_table’
警告。未使用の変数。
####
#### MeCab_wrap.cpp: In function ‘swig_type_info* SWIG_Python_TypeQuery(const char*)’:
####
#### MeCab_wrap.cpp:2544: error: ‘PyCObject_AsVoidPtr’ was not declared in this scope
エラー。PyCObject_FromVoidPtr が宣言されていない。
####
#### MeCab_wrap.cpp:2549: error: ‘PyCObject_FromVoidPtr’ was not declared in this scope
エラー。PyCObject_FromVoidPtr が宣言されていない。
####
#### error: command 'gcc' failed with exit status 1
gccが失敗した。
####
####
####
#### ----------------------------------------
####
#### Command "/usr/bin/python3.6 -u -c "import setuptools, tokenize;__file__='/tmp/pip-install-hzcdo768/mecab-python3/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-record-5w7so2s3/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-install-hzcdo768/mecab-python3/
####
####
####
違うエラーなのだが、「setup.pyがpython3に対応していない」という人がいる。
多分そんなところだろう。
setup.pyはどこにあるのか。
探すと...
/home/monqy/mecab/mecab/python/setup.py
これはmecab本体かな。
/home/monqy/mecab-python-0.996/setup.py
こっちか。
setup.pyを実行してみるとエラーになる。オプションが必要のようだ。
ログをもう一度見てみると
Complete output from command
/usr/bin/python3.6 -u -c "import setuptools, tokenize;
__file__='/tmp/pip-install-hzcdo768/mecab-python3/setup.py';
f=getattr(tokenize, 'open', open)(__file__);
code=f.read().replace('\r\n', '\n');
f.close();
exec(compile(code, __file__, 'exec'))"
install --record /tmp/pip-record-5w7so2s3/install-record.txt
--single-version-externally-managed
--compile:
多分、最初の方にあるURLからファイルをダウンロード、/tmpに展開し、
そこのsetup.pyを実行している。
/tmp/pip-install-hzcdo768/mecab-python3/
というフォルダはない。
インストールに失敗した後に消しているのだろう。
よーし、では、tar.gzを持ってきて、解凍→インストールしてみよう。
wget https://files.pythonhosted.org/packages/ac/48/295efe525df40cbc2173748eb869290e81a57e835bc41f6d3834fc5dad5f/mecab-python3-0.996.1.tar.gz
ダメ。
swigのバージョンが古いのだろうか。
# swig -version
SWIG Version 1.3.40
でもswigの新しいバージョンの入れ方がわからない。
twitterで、ある人がバージョン指定すればいけると。
pip install mecab-python3==0.7
...いけた。
# pip install mecab-python3==0.7
Collecting mecab-python3==0.7
Downloading https://files.pythonhosted.org/packages/25/e9/bbf5fc790a2bedd96fbaf47a84afa060bfb0b3e0217e5f64b32bd4bbad69/mecab-python3-0.7.tar.gz (41kB)
100% |????????????????????????????????| 51kB 2.4MB/s
Installing collected packages: mecab-python3
Running setup.py install for mecab-python3 ... done
Successfully installed mecab-python3-0.7
とりあえずpythonからmecabが使えるようになった。
ふう。
このブログを検索
2019/04/18
2013/02/28
mecabで名詞を数える
トレンドとなっている語を探したくて、mecabを使って名詞を数えるスクリプトを書いた。
単に名詞だけを数えると、「山田太郎」を「山田」と「太郎」を別々に数えてしまう。
mecabに「山田太郎」で辞書登録すれば一語にできるがそれもめんどくさい。
そこで、「姓と名が連続して登場したらひとつの名詞とみなす」という風にしたのだが、どうもスッキリ書けず、下記のようになってしまった。
一応これで用は足せているのだが、もっと簡単にかけないかなあ・・・
単に名詞だけを数えると、「山田太郎」を「山田」と「太郎」を別々に数えてしまう。
mecabに「山田太郎」で辞書登録すれば一語にできるがそれもめんどくさい。
そこで、「姓と名が連続して登場したらひとつの名詞とみなす」という風にしたのだが、どうもスッキリ書けず、下記のようになってしまった。
一応これで用は足せているのだが、もっと簡単にかけないかなあ・・・
foreach (@array){
for (my $n = $m->parseToNode ($_); $n ; $n = $n->{next}) {
my $surf=decode('utf8',$n->{surface});
my $feature=decode('utf8',$n->{feature});
my @features = split(/,/, $feature);
if($features[0]=~ /名詞/) {
if($features[3] eq "名"){
if($saveword){ $surf = $saveword.$surf };
&check_word_hash($surf,\%hash);
$saveword = undef;
}elsif($features[3] eq "姓") {
if($saveword){
&check_word_hash($saveword,\%hash);
}
$saveword = $surf;
}else{
&check_word_hash($surf,\%hash);
}
}elsif($saveword){
&check_word_hash($saveword,\%hash);
$saveword = undef;
}else{
if($saveword){
&check_word_hash($saveword,\%hash);
$saveword = undef;
}
}
}
}
2013/02/22
mecabの辞書登録
登録する単語を記述したcsvファイルをIPA辞書の配下に置く。
mecabをインストールするときに辞書をutf-8にしたはずだが、
ここに置くときはeucにしないとダメだった。
初めて登録するときは、configureとmakeをする
2回目以降はmake cleanとmakeをする
(参考)
http://www.mwsoft.jp/programming/nlp/mecab_dictionary_customize.html
ここに置くときはeucにしないとダメだった。
$ cp mydic.csv mecab-ipadic-2.7.0-20070801/
$ cd mecab-ipadic-2.7.0-20070801
初めて登録するときは、configureとmakeをする
$ ./configure --with-charset=utf8
$ make
$ sudo make install
2回目以降はmake cleanとmakeをする
$ make clean
$ make
$ sudo make install
(参考)
http://www.mwsoft.jp/programming/nlp/mecab_dictionary_customize.html
2010/10/23
MeCab
MeCabというものを知った。あの、食べる「めかぶ」だ。日本語の形態素解析をするソフトである。Yahooのapiとか、「ちゃせん」とかいろいろあるようだが、これが新しくて速いようだ。
形態素解析という言葉は、何度か耳にしている。初めて聞いたのは、コールセンターなどに寄せられた問い合わせ内容を分析するソフトの説明を聞いたときだ。その後、いわゆる「人口無能」というもの、「意味不明だがなんとなく文章として成立している」というものを作るのに使われているということだった。
「言葉をコンピュータで解析する」とか、自動翻訳とかいうものについては、私はとても否定的に考えている。つまり、「そんなのはムリだ」という考えである。実際、形態素解析を使って一番おもしろいのは「無能」であり、自動翻訳はせいぜい、その文章に含まれる単語を辞書で引いて並べるくらいのことしかできていない。
私は語学は好きだが、外国語を読むというのはつまり辞書を引くことである。そして、辞書を引くというのはある単語をリストのなかから探すことでは、ない。それだけなら、コンピューターでできるだろう。
しかし、まったく未知の文章を辞書をひいて理解しようとした人にはわかるだろうが、辞書があっても引けないことがある。まずは動詞の活用。辞書に載っている動詞は原型だけである。そして動詞の活用の仕方は多様で、単純に規則化することもできない。それから同音意義語や、特別な言い回し、とにかく例外だらけなのである。
文法という、なまじ法則化されたようなものがあるから、人は言葉を科学的に扱おうとするが、結局言葉は科学の対象にはならない。極端なことを言うと、言葉というのは科学を拒否するものである。自動翻訳の精度もずいぶん向上したようだが、聞いた話ではとにかく大量の例文を持つそうである。そしてその中から同じ表現をさがしてくる、という方法がとられているようだ。
話がそれたが、perlでmecabを使ってみた。職場のWindows XPで、active perlで使ってみた。おもしろそうなので続きは家で、と思ったら、xpで使えたモジュールがvistaでインストールできなかった。vistaはよく俺を困らせる。
しかし、私はvistaを使うことをやめない。もうvistaもリリースされてずいぶんたつ。これだけたってvistaに移植されていないのには、理由があるのだ。だが、私にはさくらインターネットのレンタルサーバがある。さくらに最近mecabがインストールされたという情報を見て、sshで入って使えることを確認している。cygwinも、virtual pcもいらない。私はすでにfreebsd(だっけ)が動くサーバを持っているのだ。
さて、ではさくらでめかぶを。と、その前にcgiを動かすだけでひと騒動。まず、cgiを動かすディレクトリは決めてある。そしてパスワードを設定してある。パスワードが何か忘れている。なんとか思い出す。mecabを呼ぶperlが動くことをsshで確認する。しかしcgiにするとinternal server errorになる。いろいろ悩んだ末、permissionが777だと動かないことがわかる。755にしたら、動く。
このソースは、shift_jisで保存してあり、読み込むファイル 「jpsjis.txt」もshift_jisである。そのため、エンコード処理が入っている。
私のcgiは全部UTF8にしており、これもUTF8にしてエンコードなどしたくなかったのだが、utf8だとどうしてもうまくいかない。mecabがeuc-jpなのだろうか?cgiをやるときはいつも日本語の文字コードで悩む。日本人のハンデである。
このスクリプトは日本語でかかれた文章を形態素で「分かち書き」するだけのものである。とりあえずmecabをcgiで動かすテスト用スクリプトである。
本当にやりたいことのひとつが、アクセスログの検索後から名詞を抜き出すことだ。webalizerの検索語一覧は、複数の検索文字列をそのまま表示するので、同じ名詞が含まれていても別の検索語としてカウントされる。
というようになる。この場合、"delphi"というキーワードを数えたいのである。私のサイトだと、"delphi", "tokai", "トーカイ", "whea-logger" などがこれで数えられて上位にランクされるはずだ。
次にやりたいのが、人口無能、あるいはbot、のようなもの。すでにtwitterにたくさんあるbotである。
これらは形態素解析するだけでなく、それを再構成する必要がある。このときに使われるのが「マルコフ連鎖」とかいうリクツである。マルコフなんたらがどういうことなのかはなんとなくわかるのだが、はっきりとはわからない。だが、少なくとも形態素で分解できてその品詞まで判定してもらえば、あとはなんとかなりそうだ。
これで名詞だけを抜き出せる。$n->{posid} というのが品詞IDで、これは自由に設定できるようだが、さくらでは38になっていた。区別さえできればよいので、そのまま、「38だったらと」いう条件で$n-{surface}を表示した。
そして文章のなかで名詞の出現回数をかぞえるには、名詞を保存していき、すでにあるかを検索して、
なかったら追加する、ということをすればよい。私がやろうとしている規模であればたいしたことはないが、大量に処理するならDBが必要かな。
今、「英単語はどうなるのかな」と思ってアクセスログを読ませてみたら、逆に英単語しか表示されない。そう、日本語はエンコードされているからデコードしないといけないのだ。メンドクサイ・・・。
ログから検索文字列を抜き出し、それをデコードする処理が必要だ。これは以前作ってある。
さっきeuc_jpでデコードするのがどうこう、と言っていた件は、めかぶの辞書がeuc_jpだからだそうだ。そして辞書をUTF8に変更できるようだ。あとでやろう。
さくらのログを表示させようとして、残っているのが前日の日付であることに気づいた。1日引けば・・・と思ったところで月初だったら、年初だったら・・・とそう単純ではないことに気づいたが、
調べると簡単にできた。
とりあえずmecabがどんなものか試すスクリプト。htmlからpostしたテキストを形態素に分割して品詞等を表示する。
cgiを呼び出すhtml。cgiもこのhtmlファイルも、文字コードはutf-8で保存する。
とりあえず名詞の抽出をする。頻出単語を数えるなどをしてみるが、一般名詞と固有名詞の区別も簡単ではない。たとえば「中国国家発展改革委員会」という言葉は
中国[47]国家[38]発展[36]改革[36]委員[38]会[51]
という風に分離される。カッコ内の数字は品詞の種類を表す数値である。こういうものはくっつけたいが、なんでもくっつけるわけにもいかない。とりあえず、いろんな文章を形態素分離させてみて、どういうパターンがあるかを見て、38->36はくっつける、などとひとつひとつ決めていくしかないか。
「人口無能」であれば、その辺はテキトーにやって、頻度や乱数をつかって文章を切り貼りしていけばいい。だが、まったくの「無能」ではやっぱり面白くない。「圧縮新聞」はそれを新聞でやることによって、ある程度のもっともらしさを保っている。ツイッターのツイートやブログなどでは、文体が多様すぎて混沌としすぎる。
形態素解析という言葉は、何度か耳にしている。初めて聞いたのは、コールセンターなどに寄せられた問い合わせ内容を分析するソフトの説明を聞いたときだ。その後、いわゆる「人口無能」というもの、「意味不明だがなんとなく文章として成立している」というものを作るのに使われているということだった。
「言葉をコンピュータで解析する」とか、自動翻訳とかいうものについては、私はとても否定的に考えている。つまり、「そんなのはムリだ」という考えである。実際、形態素解析を使って一番おもしろいのは「無能」であり、自動翻訳はせいぜい、その文章に含まれる単語を辞書で引いて並べるくらいのことしかできていない。
私は語学は好きだが、外国語を読むというのはつまり辞書を引くことである。そして、辞書を引くというのはある単語をリストのなかから探すことでは、ない。それだけなら、コンピューターでできるだろう。
しかし、まったく未知の文章を辞書をひいて理解しようとした人にはわかるだろうが、辞書があっても引けないことがある。まずは動詞の活用。辞書に載っている動詞は原型だけである。そして動詞の活用の仕方は多様で、単純に規則化することもできない。それから同音意義語や、特別な言い回し、とにかく例外だらけなのである。
文法という、なまじ法則化されたようなものがあるから、人は言葉を科学的に扱おうとするが、結局言葉は科学の対象にはならない。極端なことを言うと、言葉というのは科学を拒否するものである。自動翻訳の精度もずいぶん向上したようだが、聞いた話ではとにかく大量の例文を持つそうである。そしてその中から同じ表現をさがしてくる、という方法がとられているようだ。
話がそれたが、perlでmecabを使ってみた。職場のWindows XPで、active perlで使ってみた。おもしろそうなので続きは家で、と思ったら、xpで使えたモジュールがvistaでインストールできなかった。vistaはよく俺を困らせる。
しかし、私はvistaを使うことをやめない。もうvistaもリリースされてずいぶんたつ。これだけたってvistaに移植されていないのには、理由があるのだ。だが、私にはさくらインターネットのレンタルサーバがある。さくらに最近mecabがインストールされたという情報を見て、sshで入って使えることを確認している。cygwinも、virtual pcもいらない。私はすでにfreebsd(だっけ)が動くサーバを持っているのだ。
さて、ではさくらでめかぶを。と、その前にcgiを動かすだけでひと騒動。まず、cgiを動かすディレクトリは決めてある。そしてパスワードを設定してある。パスワードが何か忘れている。なんとか思い出す。mecabを呼ぶperlが動くことをsshで確認する。しかしcgiにするとinternal server errorになる。いろいろ悩んだ末、permissionが777だと動かないことがわかる。755にしたら、動く。
#!/usr/bin/perl -w
use strict;
use Encode;
use MeCab 0.97;
open IN,"<jpsjis.txt";
print "Content-type: text/html\n";
print "\n";
print "<h3>mecab test</h3>\n";
while(<IN>){
my $str = $_;
my $t = new MeCab::Tagger("-Owakati");
Encode::from_to($str, "Shift_JIS", "EUC-JP");
$str = $t->parse($str);
Encode::from_to($str, "EUC-JP", "Shift_JIS");
print "<p>$str</p>\n";
}
close IN;
このソースは、shift_jisで保存してあり、読み込むファイル 「jpsjis.txt」もshift_jisである。そのため、エンコード処理が入っている。
私のcgiは全部UTF8にしており、これもUTF8にしてエンコードなどしたくなかったのだが、utf8だとどうしてもうまくいかない。mecabがeuc-jpなのだろうか?cgiをやるときはいつも日本語の文字コードで悩む。日本人のハンデである。
このスクリプトは日本語でかかれた文章を形態素で「分かち書き」するだけのものである。とりあえずmecabをcgiで動かすテスト用スクリプトである。
本当にやりたいことのひとつが、アクセスログの検索後から名詞を抜き出すことだ。webalizerの検索語一覧は、複数の検索文字列をそのまま表示するので、同じ名詞が含まれていても別の検索語としてカウントされる。
"delphi ics ftp" "delphi コンポーネント テキスト ルビ" "delphi ハードコピー bitblt"
というようになる。この場合、"delphi"というキーワードを数えたいのである。私のサイトだと、"delphi", "tokai", "トーカイ", "whea-logger" などがこれで数えられて上位にランクされるはずだ。
次にやりたいのが、人口無能、あるいはbot、のようなもの。すでにtwitterにたくさんあるbotである。
これらは形態素解析するだけでなく、それを再構成する必要がある。このときに使われるのが「マルコフ連鎖」とかいうリクツである。マルコフなんたらがどういうことなのかはなんとなくわかるのだが、はっきりとはわからない。だが、少なくとも形態素で分解できてその品詞まで判定してもらえば、あとはなんとかなりそうだ。
#!/usr/bin/perl -w
use strict;
use Encode;
use MeCab 0.97;
open IN,"<jpsjis.txt" or die;
print "Content-type: text/html\n";
print "\n";
print "<h3>mecab test</h3>\n";
while(<IN>){
my $m = new MeCab::Tagger ("");
my $str2 = $_;
Encode::from_to($str2, "Shift_JIS", "EUC-JP");
for (my $n = $m->parseToNode ($str2); $n ; $n = $n->{next}) {
if($n->{posid}==38){
my $surf=$n->{surface};
Encode::from_to($surf, "EUC-JP", "Shift_JIS");
print $surf."<br>";
}
}
}
close IN;
これで名詞だけを抜き出せる。$n->{posid} というのが品詞IDで、これは自由に設定できるようだが、さくらでは38になっていた。区別さえできればよいので、そのまま、「38だったらと」いう条件で$n-{surface}を表示した。
そして文章のなかで名詞の出現回数をかぞえるには、名詞を保存していき、すでにあるかを検索して、
なかったら追加する、ということをすればよい。私がやろうとしている規模であればたいしたことはないが、大量に処理するならDBが必要かな。
今、「英単語はどうなるのかな」と思ってアクセスログを読ませてみたら、逆に英単語しか表示されない。そう、日本語はエンコードされているからデコードしないといけないのだ。メンドクサイ・・・。
ログから検索文字列を抜き出し、それをデコードする処理が必要だ。これは以前作ってある。
さっきeuc_jpでデコードするのがどうこう、と言っていた件は、めかぶの辞書がeuc_jpだからだそうだ。そして辞書をUTF8に変更できるようだ。あとでやろう。
さくらのログを表示させようとして、残っているのが前日の日付であることに気づいた。1日引けば・・・と思ったところで月初だったら、年初だったら・・・とそう単純ではないことに気づいたが、
調べると簡単にできた。
my $yesterday = DateTime->now->subtract( days => 1 );
とりあえずmecabがどんなものか試すスクリプト。htmlからpostしたテキストを形態素に分割して品詞等を表示する。
#!/usr/bin/perl -w
use strict;
use CGI;
use utf8;
use Encode;
use MeCab 0.97;
my $q= CGI->new;
my $value=$q->param('text');
print $q->header(-charset=>'utf-8'),
$q->start_html(-title=>'mecab'),
$q->p($value),
$q->br;
print "\n";
print "<hr>\n";
my $m = new MeCab::Tagger ("");
my $str2 = $value;
Encode::from_to($str2, "UTF8", "EUC-JP");
for (my $n = $m->parseToNode ($str2); $n ; $n = $n->{next}) {
my $surf=$n->{surface};
Encode::from_to($surf, "EUC-JP", "UTF8");
print '<font size="5">'.$surf.' </font>';
my $feature=$n->{feature};
Encode::from_to($feature, "EUC-JP", "UTF8");
print '<font size="2">'.$feature.' </font>';
print '<font size="1">'.$n->{posid}.' </font>';
if($n->{posid}==4){
print "<br><br>";
}
if($n->{posid}==9){
print "<br>";
}
}
print $q->end_html;
exit;
cgiを呼び出すhtml。cgiもこのhtmlファイルも、文字コードはutf-8で保存する。
<html lang="ja" xml:lang="ja" xmlns="hxtp://www.w3.org/1999/xhtml"> <head> <meta hxtp-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>just post</title> </head> <body> <form action="meca6.cgi" target=_self method=post> <textarea name="text" rows="20" class=input cols="100"></textarea><br> <input type=submit value="post"> </form> </body></html>
とりあえず名詞の抽出をする。頻出単語を数えるなどをしてみるが、一般名詞と固有名詞の区別も簡単ではない。たとえば「中国国家発展改革委員会」という言葉は
中国[47]国家[38]発展[36]改革[36]委員[38]会[51]
という風に分離される。カッコ内の数字は品詞の種類を表す数値である。こういうものはくっつけたいが、なんでもくっつけるわけにもいかない。とりあえず、いろんな文章を形態素分離させてみて、どういうパターンがあるかを見て、38->36はくっつける、などとひとつひとつ決めていくしかないか。
「人口無能」であれば、その辺はテキトーにやって、頻度や乱数をつかって文章を切り貼りしていけばいい。だが、まったくの「無能」ではやっぱり面白くない。「圧縮新聞」はそれを新聞でやることによって、ある程度のもっともらしさを保っている。ツイッターのツイートやブログなどでは、文体が多様すぎて混沌としすぎる。