-
url管理器查看全部
-
爬虫运行流程查看全部
-
简单爬虫架构查看全部
-
爬虫价值查看全部
-
爬虫简介查看全部
-
在python3.x版本中，urllib和urllib2包集合成在一个包了 import urllib2 response = urllib2.urlopen(request) 改为 import urllib.request response = urllib.request.urlopen("http://www.fyunw.com")查看全部
-
下载网页方法查看全部
-
URL三种实现方式查看全部
-
from baike_spider import url_manager html_downloader class SpiderMain(object): def _init_(self): self.urls = url_manager.UrlManager() self.downloader hemt_downloader.HtmlDownloader() self.parser = html_parser.HtmlParser() self.outputer = htmloutputer.HtmlOutputer() def craw(self,root_url): count = 1 self.urls.add_new_url(root_url) while self.urls.has_new_url(): new_url = self.urls.get_new_url() print 'craw %d : %s' % (count, new_url) html_cont = self.downloader.download(new_url) new_urls, new_data = self.parser.parse(new_url, html_cont) self.urls.add_new_urls(new_urls) self.outputer.collect_data(new_data) if count == 1000: break count = count + 1 self.outputer.output_html()查看全部
-
soup = beautifulSoup() print '获取所有的链接' links = soup.find_all('a') for查看全部
-
bs文档 http://www.crummy.com/software/BeautifulSoup/bs4/doc/#searching-the-tree查看全部
-
代码-bs访问节点信息查看全部
-
代码-bs搜索节点查看全部
-
代码-创建bs对象查看全部
-
bs语法-举例说明查看全部
举报
0/150
提交
取消