最近使用scrapy抓取新浪智能家居新闻(http://tech.sina.com.cn/smart/),该新闻是动态生成的，请问使用什么办法可以抓取到。
3 回答
蛊毒传说
TA贡献1895条经验 获得超3个赞
爬虫对于ajax的内容处理确实是个问题啊， 可以自己用pywebkit引擎做一个，调用里面的js引擎处理那些动态生成的内容，但是难度有点高， 另一个方法是找到ajax请求的接口，然后自己构造请求读取数据 然后处理返回的数据 一般都是json格式。个人觉得第二种方法更简便一点
牧羊人nacy
TA贡献1862条经验 获得超7个赞
请问python社区在哪里？
哥新手学scrapy，例子入门估计已经卡一大半人
第一个例子问题我算是搞定了，但是第二个问题马上来了
我想爬了这个网页，再根据这个网页的链接爬另外一个网页，怎么做？
哪里有人回答这些问题，或者方向（python语法和执行框架不懂也
- 3 回答
- 0 关注
- 515 浏览
添加回答
举报
0/150
提交
取消