常用的java蜘蛛有哪些

Question

一般常用的java蜘蛛有哪些...?

Answer 1

• Heritrix

• Nutch

这两个应该是最有名的Heritrix3以后就很诡异，不好用，我用过2，Heritrix有点类似于传统web archiver的意思。
Nutch比较modern一些，Apache旗下的，没用过就先试试这个吧。