为了账号安全,请及时绑定邮箱和手机立即绑定
虽然拉钩更新了,我们要学习的就是方法和思路。但是根据这个思路来,我抓取前10条数据都抓不到,直接返回了{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"182.108.60.100","state":2402},继续看下一节。看怎么解决操作频繁的问题
2020-03-03评论:去年的代码今年就不能用了,抓取城市列表页面,返回的却是中间页面:加载中... 并且发现requests返回的页面编码格式为:
ISO-8859-1,需要在返回结果前增加代码:response.encoding='ut-8',才不至于乱码
难度显示为:初级
初级都这么难,我太南了,怎么活
2-3 创建多进程时,按视频中的做法,出现报错AttributeError: module 'multiprocessing' has no attribute 'pool',解决方法为:导入模块代码改为from multiprocessing.dummy import Pool,然后创建进程池处的代码改为pool = Pool(2)
2-2 05:02处设置的第一个get请求(也就是保存cookie信息的get请求),抓取到的有些城市的URL形式为https://www.lagou.com/jobs/list_python/p-city_2?px=default,这里我不懂怎么进行城市匹配,后面通过抓取其他一些城市(如崇左、儋州)的URL形式为:https://www.lagou.com/jobs/list_python?&px=default&city=%E5%B4%87%E5%B7%A6,发现这里可以进行城市匹配,然后就使用该URL,经过实验,可以如视频中一样获取到相关信息。
看这个主要是看下实际的解决思路,还是有些帮助的。
很惭愧,学习了这个之后 ,感觉 flask 完全不会,之前浅学习过 django 基础不好,还需要在学习一下,还不要补充基础知识
从这第二节开始,我fiddler的第一个get请求那个响应数据就不一样了,好像拉钩更新了 所以视频讲的就不太对了
最好标注一下难度,因为在掌握一些前置技能的情况下,大部分人会有点懵。
其实当作一个案例来看就好多了,展示一下如何结合request爬虫,将信息写入Mysql,然后借助Echart分析数据。
个人认为还是很划算的一门课。
跑了一会儿会报错
课程很不错,就是模板没有下载地址呀
能给个字段代码,一个个敲代码漏的多
¥69.00
立即购买
课程须知
必备基础:Python语法基础,函数,面向对象编程 Mysql数据库,了解前端,Flask框架基础
老师告诉你能学到什么?
1.数据抓取:Requests抓取岗位信息、多进程加速抓取、代理隐藏 2.数据存储:数据表设计、保存到Mysql数据库 3.数据可视化:快速掌握Echarts、Echarts绘制图形、Echarts生成云图
加群二维码
  • 慕课Python核心用户群
  • 群号:824631704
  • 付费用户专享
  • 技术学习型社群

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消