素早く自分の作りたいものを作る - diary.jgs.me

数日前に、新たな鉱脈を発見したので、サッとスクレイピングするスクリプトを作ろうと思い立った。以前はnode.jsのhttp.getを使ってスクレイピングして、DOMを解析して…という泥臭い方式でスクレイピングのスクリプトを書いていたのだけれど、ここ最近PhantomjsとCasperjs力が高まってきてこいつらに頼ればもっと高速にスクレイピングできるのでは？と思い立って作ってみた。

諸般の事情でコードは非公開にしておくけれど、見たいひとがいれば会ったときにでも聞いてもらえれば見せられるよ。だいたいの流れを書いておくと

Child_processを使ってChromeで開くnodeのスクリプトにパイプで渡す

というような感じ。CasperJSでChild_process使えないかなーっておもったけれどめんどくさそうだったから楽をした。

さらに数日前には学業の方でコード書かなきゃいけなかったので、Pythonで実装しようかと盟友に相談したところ、がっつり行列計算があるような対象じゃない限りはCoffee、もといJavascriptの連想配列で十分とのことだったのでサクッと実装をした。結構綺麗に書けたつもりだったけれど、OOP感がまだ薄いので時間があったらリファクタリングをしたい。あと、Rに興味が出てきたのでとりあえずインストールしてデモを動かすところまでは準備をした。

自分が作りたいものを経験を動員して素早く作れるのはすごく脳汁が出て楽しい。この感覚を忘れずに日々を過ごしたい。そして、とにかく怠惰に怠惰に楽ができるなら極限まで楽ができるように洗練させていきたい。

July 23rd, 2013 1:54am

#20130723 #0723