为了账号安全,请及时绑定邮箱和手机立即绑定

Python最火爬虫框架Scrapy入门与实践

难度初级
时长 1小时31分
学习人数
综合评分9.53
52人评价 查看评价
9.7 内容实用
9.5 简洁易懂
9.4 逻辑清晰

最新回答 / qq_慕移动1343633
请问你会了吗,怎么解决的?我也是同样的问题

最新回答 / 果冻gg
python3.3以后不支持urllib2,按住ctrl键点击`File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/scrapy/downloadermiddlewares/httpproxy.py", line 5, in <module>`行进入httpproxy.py,删除第5行和urllib2有关的语句保存就好了

最新回答 / 慕的地8021373
content = i_item.xpath('.//div[@class="info"]/div/p[1]/text()').extract()
这样子写试试,xpath不要太依赖别人怎么写,试着自己简便下

最新回答 / 无无法师
试试notepad++里面“转化为utf-8-bom编码"

最赞回答 / 潘尼沃斯
你可以试试用anaconda prompt安装 在那里面输入pip install scrapy

最新回答 / 慕娘2257303
报错在“TypeError: 'method' object is not iterable”,在此前的运行是爬虫的正常启动信息。通过报错可知,代码中content的类型错误。不知道你的代码,所以我就举个改错的的例子:在用webdriver时,若用
content = driver.find_element_by_xpath()
会出现和你相似的错误,要改为:
content = driver.find_elements_by_xpath()
课程跨度太大!对于我这个新手立马踩了3个坑!
1.Windows系统用Pycharm远程同步代码发现pycharm的tool菜单没deployment!
我的是pycharm社区版,pycharm专业版才能远程同步代码。
2.from scrapy import cmdline报错,安装scrapy 包报Microsoft Visual C++ 14.0 is required.
下载twisted对应版本的whl文件并安装解决问题。
3.运行报错 :No module named win32api
需在cmd输入命令pip install pypiwin32 安装即可。
终于找到了一个条理清晰的scrapy视频,谢谢老师!
课程须知
1、具有一定的Python基础 2、具有一定的linux系统管理基础,编译安装软件,yum包管理工具等 3、具有一定的Mongdb数据库管理基础,增删改查
老师告诉你能学到什么?
1、scrapy框架简介、数据在框架内如何进行流动 2、scrapy框架安装、mongodb数据库安装 3、scrapy抓取项目如何创建 4、scrapy抓取项目如何进行数据解析 5、scrapy抓取项目如何绕过反爬机制抓取数据 6、scrapy抓取项目如何存储数据到不同的格式

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消