このブログを検索

2014/02/09

logをmysqlのテーブルにする

perlで書いたcgiでログ解析をしているのだが、現在持っているログを全部読むとcgiがタイムアウトしてしまう。
件数は13万件弱である。

そこで、毎回毎回テキストを全部読んで数えるのは面倒くさいので、
mysqlにDBとして登録してしまえば、と思ってやってみた。
mysqlは別のことで使ったことがあって、
dbを作ってテーブルを作ってそこにperlでレコードを登録する、
という一連のことはやったことがあった。

それを流用してログを登録していると、エラーが発生した。
それは、シングルクォーテーションがデータ区切りとして認識されてしまうために起きていた。
シングルクォーテーションは二つ続けて書くことでエスケープできるようなので、ログファイルのシングルクォーテーションを探してそのようにした。
そんなにたくさんはないので一個ずつ直した。

今回はそれでいいのだが、ゆくゆくはアクセスがあった時点でそのつどログをdbに書こうと思っている。
このログとはいわゆる「掲示板」のようなCGIで、アクセス数は日に数件程度なのでそれでよいのだ。
でも、シングルクォーテーションがあったらそれを2個にするようにいちいちしなければならないのは、ちょっとイヤだな。

とりあえずできた。
12万件を登録するのはけっこう時間がかかった。30分くらい?
select文でいろいろ検索してみる。一発だ。

2014/02/08

アクセス解析



f:id:woniu:20140208185656p:image


私が持っているウェブサイトのアクセスログを解析してみた。
サーチエンジン、ブラウザ、OS、ドメインを集計し、3ヵ月ごとのシェアの推移を見た。

サーチエンジンについてはgoogleが6~7割、yahooが3割でほとんど変わらない。

browserについては、Firefoxがやや減少の傾向とiOSのSafariの増加傾向が見られる。

OSはずっとWindows7がトップだが、iPhoneが確実に増加している。ドコモ効果か。
WindowsXPは明らかな減少傾向が見られる。
Windows8の利用者はなかなか増えない。
androidは横ばい。

ドメイン名には特筆するような変化は見られない。
home.ne.jpが最近増えているという結果になっているが、
たぶんこれは自分自身のアクセスではないか・・・。


この結果から典型的なユーザは、
「モバイルはauのiPhone、パソコンはWindows7でブラウザがChrome、検索はGoogle」
という感じだ。




2014/02/04

検索エンジンのシェア

私のサイトのあるページにアクセスしてくるときの検索エンジンのシェアを調べたら、

googleのシェアが6割から5割へ減っていた。

その分増えたのはyahooである。


> ブラウザはIE9がトップで18%。次がAndroidのMobile Safari、つまりiPhoneでないスマホか。16%。firefoxが14%、Safariが13%。IE8が12%、Chromeが10%。MSIE10.0からのアクセスがあった。

と、2013年3月に書いているのだが、今は以下のような結果だ。

MobileSafari 17.5%
Safari 17.2%
Firefox 10.8%
MSIE 8.0 10.2%
MSIE 10.0 9.8%
MSIE 9.0 9.4%
UPBrowser 8.4%
Chrome 6.0%
MSIE 7.0 4.8%
Others 3.2%
MSIE 6.0 1.6%
Opera 1.0%



Chrome使う人増えない・・・というか、減ってる・・・。
MobileSafariはAndroidなの?なんでわかる・・・?
とにかく、PC以外のいわゆる「スマホ」アクセスが増加している、それだけは確かだ。
そしてこのログ解析は、前回解析したログを含んでいるので、それ以降のログだけで見たら、
よりいっそうスマホユーザーの増加っぷりが顕著になるだろう。
めんどくさいからそれはやらないけど。

2014/01/30

さくらのVPSでメールが受信できない

ほったらかしていたのですっかりどうやるのか、どうなっているのか忘れてしまった。 気づいたのはtwitterのサブアカウントにサインインしたら「メールが送れません」というメッセージが出たことだ。 サーバに入って mail -u hoge とやるが
No mail for hoge
となる。
mail hoge@foo
とやって、自分の持っているほかのアカウントに送信することはできた。 ・・・。 これから原因を突き止め直していく。
/etc/dovecot/passwd
というファイルに、アカウントとパスワードが書いてある。 6個のアカウントがあるので、それらすべてにメールを送信してみると、 1個のアカウントだけはエラーメールが返ってきた。 しかしそれは今回問題になっているアカウントとは違うものだ。
Delivery to the following recipient failed permanently:

hoge@hoge

Technical details of permanent failure:

Google tried to deliver your message, but it was rejected by the server for the recipient domain xxxxxxxxxxx by xxxxxxxxxxx. [xxx.xxx.xxx.xxx].

The error that the other server returned was:

550 5.1.1 <hoge@hoge>: Recipient address rejected: User unknown in virtual mailbox table

ということで、virtual mailboxにそのアカウントがないという理由である。 逆に言うと、今回送れないアカウントはあるということだ。
/etc/postfixを見ると、さっき送れなかったアカウントが書いてない。 書いて、以下を実行する。
postmap /etc/postfix/vmailbox
そしてpostfixを再起動
/etc/init.d/postfix restart
エラーメールは返ってこなくなった。 が、メールを読むことができない。
mailコマンドでは確認できないんだっけ?
Windows7にメールクライアントソフトを入れて受信できているか確認してみよう。
最近はgmailしか使っていないのでメールクライアントなどというものはすっかりごぶさただ。 調べるとWindows Essentialというものの中に含まれているらしい。 ついでなのでムービーメーカーとかメッセンジャーとかskydriveとかなんとか全部いれてみる。 受信してもエラーにもならないがメールは読めない。 gmailのアドレスへの送信はできた。
/var/log/maillog
を見ると特に問題はないようだが・・・
/etc/dovecot/conf.d/10-master.conf
を編集してみる。
imap-loginとpop3-loginのところでport番号が書いてるところがコメントになっているのをはずす。
/etc/dovecot/conf.d/10-mail.conf /etc/dovecot/dovecot.conf
なども見直して、
/etc/rc.d/init.d/dovecot restart
送信したときも受信したときも特に問題はないようだが・・・ わからん。 あきらめた。
icloudとかwindows live とかのアカウントに変える。 バイバイ。 ・・・・と、あきらめかけたが、
メールクライアントの設定で、「受信メールサーバー」の「ユーザー名」に、hoge@example.com のように、ドメイン名をつけたら受信できた! めでたしめでたし!

2014/01/25

Windowsでpython

twitterでブロックしているユーザの一覧表示およびそのunblockをpythonスクリプトで書いて使っていたのだが、Windows7を再インストールしてその実行環境(そんな大げさなものではないが)を復旧したときのメモ。

pythonをインストールする。

windowsの環境変数で、Pathにpythonをインストールしたディレクトリおよびscriptsディレクトリを追加する。

C:\Python27;C:\Python27\Scripts

tweepyをインストールする。

easy_install tweepy

easy_install は C:\Python27\Scriptsにある。

以上。

2013/09/28

iOS7でミュージックの同期ができない

iPhone4SをiOS7にしたら、64GBの容量めいっぱいに入っていた音楽データが同期されなくなった。
データはあるように見えるが、再生できない。
iTunesを再インストールしたり、いったん同期設定を解除するなどしていたら、
iTunesで買ったものだけ復活したが、それも何度もダウンロードマークが出て
「クラウド」からダウンロードさせられたりするなど、ヘンな動作をしていた。
iOS7の不具合かと思って調べてみたが、どうやらそうではなくiTunesとiPhoneでは昔からよくあることのようだった。

iPhoneをPCにつなぐと、認識はされて同期も始まるのだが、最後のところで終わらない。
そのままにして寝たら一晩たっても終わっていなかった。


ボイスメモを消すと治るという情報を聞いてやってみたがダメだった。
結局、iPhoneを「設定」のところから初期化したら同期できるようになった。
写真はiPadにstreamで送られているのを確認し、電話番号は手で紙にメモした。

2013/08/17

excel関数使用時に文字を太字にする

excelでvlookupなどを使って他のセルから文字列を持ってきて、それに何かを付け加えているときに、

文字列の一部を太字にしたり下線を引いたりしたいということがあったが、

結局できないようなのであきらめた。