为了账号安全,请及时绑定邮箱和手机立即绑定

gerapy分布式爬虫管理工具

标签:
Python 爬虫

首先安装依赖的模块:

pip install pymongo

pip install gerapy

(建议:内外环境都安装)

创建新文件夹:WORK_GERAPY ——> 在此路径下运行cmd命令行,

输入:gerapy init   生成gerapy文件夹

https://img1.sycdn.imooc.com//5c068580000132be11110354.jpg

命令行输入: cd gerapy 

在输入:gerapy migrate

https://img1.sycdn.imooc.com//5c06867c0001d29d09500776.jpg

启动gerapy

命令输入:gerapy runserver

https://img1.sycdn.imooc.com//5c0686f20001280e08940683.jpg

(注意:需要在cmd启动 scrapy )

https://img1.sycdn.imooc.com//5c068b7e00014b5908440432.jpg

到这里gerapy已经启动了

打开浏览器:访问管理平台界面 http://localhost:8000

https://img1.sycdn.imooc.com//5c0687f10001108216940300.jpg

创建主机:

https://img1.sycdn.imooc.com//5c06882f00014b6d08950384.jpg

添加项目:

找到需要部署的爬虫项目文件夹,复制到所创建的 projects路径下

https://img1.sycdn.imooc.com//5c0688ae00019e7405330136.jpg

回到平台界面,

https://img1.sycdn.imooc.com//5c068926000135b416940293.jpg

https://img1.sycdn.imooc.com//5c06898f0001d4c216640683.jpg

回到主机管理:

https://img1.sycdn.imooc.com//5c0689c60001f7e416900339.jpg

到此项目部署结束,运行项目

https://img1.sycdn.imooc.com//5c068a37000161d616660418.jpg


点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消