为了账号安全,请及时绑定邮箱和手机立即绑定

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

标签:
Python



Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

长期枯燥的生活,敲代码的时间三天两头往吸烟室跑,被项目经理抓去训话。 

“入门”是学习Python最重要的阶段,虽然这个过程也许会非常缓慢。当你心里有一个目标时,那么你学习起来就不会像别人学习的学习进度一样慢慢学习,你会为了这个目标而奋斗。其实有人说这样的学习方式会导致我们的基础不够扎实,但是说心里话,我特别推崇这样的学习方式。

在整个Python学习的体系里,朝目标学习累积的经验可以帮助你学习基础知识。所以,你不需要花费更多的时间学习怎样“入门”,“入门”点根本不存在!当你学习直接做一个整体项目的过程中,你学习它所需要的基础知识将变得非常快。当然,很多人就要争论说学习Python爬虫之前必须要先懂python,然而事实是,你完全能够在学习Python爬虫的时候弄懂python。

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

网络爬虫怎么工作、如何用python实现?

你需要学习

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

1)首先你要明白爬虫怎样工作

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

好的,理论上如果所有的页面可以从initial page达到的话,那么可以证明你一定可以爬完所有的网页。

那么在python里怎么实现呢?

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

写得已经很通俗了。

所有的爬虫的back bone都在这里,下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。

2)效率

如果你直接加工一下上面的代码直接运行的话,你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。

问题出在哪呢?

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

查重处理最快的方法。不管你的带宽有多大,你的机器下载网页的速度都有个限制,那么你可以用多台机器加快这个速度。当然,我们使用Python多进程,假设每台机子都已经进了最大的效率。

3)集群化抓取

我爬取豆瓣,总共用了80多台机器昼夜不停地运行了一个月。那么可以知道只用一台电脑我们要等80个月都算少的。

那么,假设你现在有80台机器可以用,怎么用python实现一个分布式的爬取算法呢?

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

考虑如何用python实现:

每个slave上安装scrapy,那么所有的电脑就变成了一台有抓取能力的slave,在master上装好Redis和rq用作分布式队列。

python代码:

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

好的,其实你能想到,有人已经给你写好了你需要的:darkrho/scrapy-redis · GitHub

4)展望及后处理

虽然上面用很多东西看似简单,但是真正要实现一个商业规模可用的python爬虫还是有挑战的。上面的所陈述的python代码,用来爬取一个整体的网站是没有太大的问题的。

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

你想象不到,这里每一个点都可以供无数程序员数十年的研究。

然而不要怕,路就在脚下,直接上手即可。

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

长期枯燥的生活,敲代码的时间三天两头往吸烟室跑,被项目经理抓去训话。 

“入门”是学习Python最重要的阶段,虽然这个过程也许会非常缓慢。当你心里有一个目标时,那么你学习起来就不会像别人学习的学习进度一样慢慢学习,你会为了这个目标而奋斗。其实有人说这样的学习方式会导致我们的基础不够扎实,但是说心里话,我特别推崇这样的学习方式。

在整个Python学习的体系里,朝目标学习累积的经验可以帮助你学习基础知识。所以,你不需要花费更多的时间学习怎样“入门”,“入门”点根本不存在!当你学习直接做一个整体项目的过程中,你学习它所需要的基础知识将变得非常快。当然,很多人就要争论说学习Python爬虫之前必须要先懂python,然而事实是,你完全能够在学习Python爬虫的时候弄懂python。

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

网络爬虫怎么工作、如何用python实现?

你需要学习

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

1)首先你要明白爬虫怎样工作

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

好的,理论上如果所有的页面可以从initial page达到的话,那么可以证明你一定可以爬完所有的网页。

那么在python里怎么实现呢?

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

写得已经很通俗了。

所有的爬虫的back bone都在这里,下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。

2)效率

如果你直接加工一下上面的代码直接运行的话,你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。

问题出在哪呢?

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

查重处理最快的方法。不管你的带宽有多大,你的机器下载网页的速度都有个限制,那么你可以用多台机器加快这个速度。当然,我们使用Python多进程,假设每台机子都已经进了最大的效率。

3)集群化抓取

我爬取豆瓣,总共用了80多台机器昼夜不停地运行了一个月。那么可以知道只用一台电脑我们要等80个月都算少的。

那么,假设你现在有80台机器可以用,怎么用python实现一个分布式的爬取算法呢?

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

考虑如何用python实现:

每个slave上安装scrapy,那么所有的电脑就变成了一台有抓取能力的slave,在master上装好Redis和rq用作分布式队列。

python代码:

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

好的,其实你能想到,有人已经给你写好了你需要的:darkrho/scrapy-redis · GitHub

4)展望及后处理

虽然上面用很多东西看似简单,但是真正要实现一个商业规模可用的python爬虫还是有挑战的。上面的所陈述的python代码,用来爬取一个整体的网站是没有太大的问题的。

Python爬虫三年没入门,传授一下绝世神功,经理唏嘘不已!

你想象不到,这里每一个点都可以供无数程序员数十年的研究。

然而不要怕,路就在脚下,直接上手即可。

原文出处

点击查看更多内容
TA 点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
  • 推荐
  • 评论
  • 收藏
  • 共同学习,写下你的评论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消