Web::Scraperを使って、物件一覧をGoogle Mapsにマッピング
Posted on: Tuesday, November 13th, 2007 in:福岡ファミリー向け物件特集!: ファミリー物件を見ていて、これはいいな、RSS登録するか。
と思ったのですが、このRSSはどうやら福岡の不動産情報探し・お部屋探しサイト「ムビマップ福岡」:こだわりの物件特集[賃貸版]: 物件一覧のようで、僕にはいらん情報も混じっておりました。
で、話題のWeb::Scraperでスクレイピングしてみるか。ついでに取得した一覧はGoogle Mapsにマッピングしてやるか。
というエントリです。
http://fooo.name/ からURL一覧を取り出すのにWeb::Scraper使ったけど、これは良いね
scraper http://fooo.name/accounts/otsune
してsでソース見てそれっぽくXPath書いてdumpして、データが取れてたらcでソース出して終了。イカス。
を参考にさせてもらいました。
まずは、
$ scraper http://www.movimap.net/kodawariblog/family/
して
scraper> s
してソースをざーっと斜め読み。
取ってきたい情報のXPathを考える。
scraper> process ‘//div[@class="box"]/div[@class="box01"]/h3/a’, ‘link[]‘ => ‘@href’, ‘title[]‘ => ‘TEXT’
これでどげんじゃろかと、出力してみる。
scraper> y
すると、
—
link:
- !!perl/scalar:URI::http http://www.movimap.net/kodawariblog/2007/10/post_134.html
- !!perl/scalar:URI::http http://www.movimap.net/kodawariblog/2007/08/post_33.html
….
title:
- +*。+純和風♪駅が近いので通勤・通学、奥様のショッピングにも便利なんデスヨ~(人・∀・*)+。*+
- ☆鴻巣山のふもとの静かな暮らし☆
….
おし、これはおげ。
続いて住所情報が欲しいので、
scraper> process ‘//div[@class="box"]/div[@class="box02"]/p’, ‘address[]‘ => ‘TEXT’
そして、
scraper> y
その結果が、
—
address:
- ‘■□加藤邸(桜台) 福岡県筑紫野市桜台1丁目7-11 □■ +*○。+純和風のとても素敵なお家です!広さは4LDKと広々!駐車場も一台付いていまーす +。○*+ ‘
- ■□グレイス長丘 福岡市南区長丘5-8-18□■ ♪♪駐車場2台取れます♪♪
….
link:
- !!perl/scalar:URI::http http://www.movimap.net/kodawariblog/2007/10/post_134.html
- [...]



