JSPIDER 実行

JSPIDERとはJAVAでできたスパイダーツールです。
J2SDK　１．４以上で動きます。
インストールはアーカイブダウンロード後、解凍するだけ。

export JSPIDER_HOME=/opt/jspider/base.properties, skip.properties

設定ファイル変更
JSPIDER_HOME/conf/download/site

site.robotstxt.fetch=true
site.robotstxt.obey=true
　　　　　↓
site.robotstxt.fetch=false
site.robotstxt.obey=false

/opt/jspiderbin//jspider.sh http://www.sexpixbox.com/tokyosecret/avlist/　download

INFO [mod.plugin.diskwriter.DiskWriterPlugin] Wrote ../output/./www.sexpixbox.c
om/tokyosecret/avlist/images/devi/10_lg.jpg
INFO [core.Spider] Stopped spider workers...
INFO [core.Spider] Stopped thinker workers...
[Plugin]
SPIDERING SUMMARY :
known urls ............. : 999

visited urls ........... : 460
parsed urls ............ : 115
parse ignored urls ..... : 345
parse error urls ....... : 0

not visited urls ....... : 539
fetching ignored urls .. : 538
forbidden urls ......... : 0
fetch error urls ....... : 1

not yet visited urls .. : 0
[Plugin] Spidering Stopped
INFO [core.Spider] Spidering done!
INFO [core.Spider] Elapsed time : 823396

ダウンロードが終わったらこんな風に表示されます。
本日始めて最後まで稼動させてみました！