web crawler, web scraper

crawl_capture

Site crawling with capture using CasperJS.

Usage

CasperJSでクローリングしながらキャプチャを撮る

crawl_dynamic_html

Crawl a dynamic html site that using js.

Usage

CasperJSで動的なjsページを操作しキャプチャを撮る

download_twitter_all_images

Download all Twitter images from a User using node.js.

Usage

twitterで特定ユーザの画像を全部ダウンロードする