python使用多进程爬取图片

最近学习了一下python的多进程和多线程，于是就想到使用进程去现实一个爬虫。通过比较实用多进程比使用普通函数的效率更高，节省了大量的时间。话不多说，看下面的代码，希望对各位有所帮助。

 1 import os, sys, io, urllib, requests, re, chardet, time 2 import multiprocessing 3  4 #设置系统输出流的编码为utf-8 5 sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf8') 6  7 headers = { 8     'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36' 9 }10 11 url = 'http://www.ivsky.com/tupian/ziranfengguang/'12 13 def Schedule(blocknum, blocksize, totalsize):14     """15         blocknum:已经下载的数据块16         blocksize:数据块的大小17         totalsize:远程文件的大小18     """19     per = blocknum * blocksize / totalsize * 100.020     if per > 100:21         per = 10022     print('当前下载进度： %.2f%%'%per)23 24 def download_page():25     try:26         res = requests.get(url, headers=headers)27         if res.status_code == 200:28             res.encoding = chardet.detect(res.content).get('encoding')#通过chardet库的detect方法获取页面的编码29             return res.text30     except requests.HTTPError as e:31         return None32 33 def parser_html(html):34     if not html:35         return36     patt = re.compile(r'<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="(.*?)" alt="(.*?)" />', re.S)#获取图片的链接和名字37     content = re.findall(patt, html)38     return content #返回图片链接和名字列表39 40 def download_pic(url, name):41     if not os.path.exists(r'./pic'):42         os.mkdir(r'./pic')43     filename = './pic/{}.jpg'.format(name)44     print('开始下载:{}'.format(name))45     urllib.request.urlretrieve(url, filename, Schedule)#使用urllib.request.urlretrieve方法下载图片并返回当前下载进度46     time.sleep(1)47 48 if __name__ == '__main__':49     html = download_page()50     contents = parser_html(html)51     for content in contents:52         p = multiprocessing.Process(target=download_pic, args=(content[0],content[1]))53         #启动进程和连接进程54         p.start()55         p.join()

 下面是使用多进程和普通函数分别爬取图片的结果

多进程

普通函数

 读者可以去试着运行一下，虽然这一段程序在使用多进程的时候比使用普通函数用时长（只有28张图片），但是读者可以自己试着将每一个超链接下的图片全部爬取，最后在比较效率。

原文出处：https://www.cnblogs.com/Lvg3687/p/9426948.html