クローラ

blogクローラ

blogは更新情報が取りやすいんだけど、 そのせいで重複したページ取りに行ったりして地味にクロールが大変な気が。 そして、Blog-Crawlerっていう単語でGoogle検索すると、 xango-blogが上位に出ている罠。