-
简单爬虫架构运行流程查看全部
-
try: except: 异常处理！查看全部
-
def craw(self, root_url): self.urls.add_new_url(root_url) while self.urls.has_new_url(): new_url = self.urls.get_new_url() html_cont = self.downloader.download(new_url) new_urls, new_data = self.parser.parser(new_url, html_cont) self.urls.add_new_url(new_urls) self.outputer.collect_data(new_data)查看全部
-
class 關鍵字 使用，帶下劃綫的class_ 替代 class class_查看全部
-
reg_link = soup.find('a', href=re.compile(r"ill")) print reg_link.name, reg_link['href'], reg_link.get_text查看全部
-
ctrl + E ''' 引入正则表达式的 re 模塊 ？ https://docs.python.org/2/library/re.html https://docs.python.org/3/library/re.html import re ''' ''' python爬虫正则表达式 http://www.iplaypython.com/crawler/248.html '''查看全部
-
# 訪問節點 ## node.name ## node['href'] ## node.get_text()查看全部
-
# 搜索節點(find_all,find) ## soup.find_all('a') ## soup.find_all('a', href = '/view/123.html') soup.find_all('a', href = re.compile(r'/view/\d+\.html')) ## soup.find_all('div', class_ = 'abc', string='Pthon')查看全部
-
创建bs4 对象 from bs4 import BeautifulSoup # 根据HTML网页字符串,创建 BeautifulSoup 对象 soup = BeautifulSoup( html_doc, 'html.parser' from_encoding='utf8' )查看全部
-
find 返回第一个匹配 find_all 返回所有的匹配查看全部
-
```python __author__ = 'xray' # coding: utf8 import bs4 print bs4 ``` H:\Python27\python.exe G:/wwwRoot/Python27/spider/test/test_bs4.py <module 'bs4' from 'H:\Python27\lib\site-packages\bs4\__init__.pyc'> Process finished with exit code 0查看全部
-
import bs4 测试 BeautifulSoup 是否已经安装成功了！查看全部
-
https://www.crummy.com/software/BeautifulSoup/ https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.html https://www.crummy.com/software/BeautifulSoup/bs4/download/ [DIR] 4.0/ 2012-05-29 17:31 - [DIR] 4.1/ 2013-05-14 13:50 - [DIR] 4.2/ 2013-05-31 13:57 - [DIR] 4.3/ 2014-10-03 19:16 - [DIR] 4.4/ 2015-09-29 00:24 - [DIR] 4.5/ 2016-08-03 02:56 -查看全部
-
$ pip install beautifulsoup4 $ python -m pip install --upgrade pip PyCharm 设置 Python Script 模板内容： 创建.py文件时自动添加 #coding utf8 文件头 File > Settings > Editor > File and Code Templates > Python Script> #coding utf8 参考图片：http://img.imooc.com/57d6c0eb0001d66d05000305.jpg 参考链接：http://www.imooc.com/qadetail/127992查看全部
-
DOM 结构化解析： HTML DOM 树查看全部
举报
0/150
提交
取消