为了账号安全,请及时绑定邮箱和手机立即绑定

如何通过php站点控制python爬虫的开启/关闭/更改起点地址?

/ 猿问

如何通过php站点控制python爬虫的开启/关闭/更改起点地址?

慕姐4208626 2018-10-04 21:38:10

1 已有一个php做好的web站点 和 一个python写的爬虫程序
2 爬虫的功能类似于爬百度的搜索结果页
3 爬取的目标页面是会更改的,需要满足让用户输入关键字,爬虫就去爬结果页
4 开启一个爬虫后可能会爬较长时间(翻页)
5 我不懂的是:我怎么通过建好的php站点控制python爬虫的开启与关闭,更改目标地址?
还是应该采用其他什么方案?
希望大家给点思路,意见,我菜希望说相对详细点!谢谢!

查看完整描述

2 回答

?
慕容4345310

没写过python的爬虫,倒是写过php&js控制的爬虫,原理应该都差不多,这里献一下丑说说我的思路

python写好一定的接口,php隔一定的时间发送请求python,比如第一个请求是爬取第一页的,第二个第二页,以此类推,怎么控制就在php写逻辑代码就行了


查看完整回答
反对 回复 2018-10-14
?
喵喔喔

写个配置文件, 每次 python 程序去读配置文件
php 控制配置文件的内容

查看完整回答
反对 回复 2018-10-14

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信