为了账号安全,请及时绑定邮箱和手机立即绑定

你好,关于scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去?

你好,关于scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去?

侃侃无极 2019-11-26 10:06:30
scrapy异步爬虫运行正常为什么没有将数据存储到mysql中去
查看完整描述

3 回答

?
拉丁的传说

TA贡献1789条经验 获得超8个赞

问题:

  1. 因为用的scrapy-redis 分布式爬 那 爬的数据 不应该都存到同一个mysql下吗

  2. 要怎么远程连接mysql呢?

  3. 如果不需要存到同一个mysql下,那应该是个什么原因呢?

解答:

  1. 可以存在同一个mysql也可以存在不同的mysql,主要看你的需求是怎样的,一般情况下,存在一个mysql就足够了

  2. 不管你的程序是在本地还是线上,只要你知道连接mysql的参数就可以连接上。连接的参数包括服务器IP,端口号,用户,密码,此外,服务器可能还配置了另外的限制条件,比如说限制远程连接的IP,如果你的本地IP不在连接白名单里面,那么你就算知道上述信息也是无法连接的。具体连接mysql方式根据不同语言而定。

  3. 不存在同一个mysql的原因,可能会考虑到数据备份,也可能考虑到连接速度(如果在这方面有很高要求的话,会选择最近的服务器上的数据库进行存储)


查看完整回答
反对 回复 2019-12-01
  • 3 回答
  • 0 关注
  • 1401 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信