为了账号安全,请及时绑定邮箱和手机立即绑定

用Python写网络爬虫怎么样?

用Python写网络爬虫怎么样?

慕田峪7331174 2018-10-10 15:11:54
用Python写网络爬虫怎么样
查看完整描述

1 回答

?
拉莫斯之舞

TA贡献1820条经验 获得超10个赞

python非常适合写网络爬虫,语法简单,代码简练,可用的库成熟强大。
常用的库有urllib2、 requests 、selenium 、Scrapy框架等,一般简单的网页连接登录用requests就好了,使用简单、功能强大;
HTML内容用BeautifulSoup解析就ok了,lxml、html.parser都是很方便的解析库,和正则表达式搭配使用效果更佳。
处理JavaScript的动态HTML,用selenium+PhantomJS或firefox的网站自动化测试的思路就可以做到。存储数据建议用mongdb数据库,都是超简单的操作。
处理验证码可以训练Tesseract做到。
如果网站有api的话,那将是最快速、最方便的数据采集途径了。
另外,python是进行数据处理最好的编程语言了,数据的采集是数据处理的第一步。

查看完整回答
反对 回复 2018-11-06
  • 1 回答
  • 0 关注
  • 1287 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信