为了账号安全,请及时绑定邮箱和手机立即绑定

用爬虫从网站爬下的数据怎么存储?

用爬虫从网站爬下的数据怎么存储?

梦里花落0921 2018-10-29 04:00:37
用爬虫从网站爬下的数据怎么存储?
查看完整描述

1 回答

?
慕神8447489

TA贡献1780条经验 获得超1个赞

显然不能直接储存,你还得解析出自己需要的内容。

比如我爬取某新闻网今日的国内新闻,那么我创建一个实体类,里面有属性:新闻标题,新闻时间,正文等等。解析出你需要的内容,封到实体里面,然后在dao层直接save到数据库即可

如果你爬下的是整个网页,这个好办,把它当做文件一样,用流操作保存到电脑上即可。当然保存网页会遇到编码问题,这个很棘手。

查看完整回答
反对 回复 2018-11-18
  • 1 回答
  • 0 关注
  • 1081 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信