Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

python3

+ 我来回答回答最高可+2积分

2 回答 657 浏览 5-3 Python爬虫urlib2实例代码演示

2019-09-15

课里面一直说爬虫总跌的程序？什么是总跌的程序没太听懂

最新回答 / 慕勒215309

是总调度，就是主程序，不是总跌的，你听错了

1 回答 563 浏览 7-2 调度程序

2019-09-14

02:59的时候怎么create的spiderMain class没看懂谢谢！

最新回答 / weixin_慕斯卡0037517

pycharm可以试试alt+回车

2 回答 638 浏览 7-2 调度程序

2019-09-14

为什么我的控制台可以打印，也正常，可以输出的为空呢

最新回答 / JMcico

你的描述太少还不好定位，目前可以知道的是在spider的craw方法中，你的

print('craw %d, %s' % (count, new_url))

语句是执行正常的，但是还需要debug一下，查看你的parser中获得的data是否正常；若...

1 回答 768 浏览 7-7 开始运行爬虫和爬取结果展示

2019-09-10

为什么要把爬虫伪装成浏览器？

已采纳回答 / weixin_慕妹2345266

躲避反爬虫策略。

1 回答 514 浏览 5-3 Python爬虫urlib2实例代码演示

2019-09-09

总调度程序开头那一段

+ 我来回答回答最高可+2积分

0 回答 677 浏览 7-2 调度程序

2019-09-09

由于环境限制只能用菜鸟在线工具，但是为什么我完全按照教程中的代码输入之后却返回错误如下？

最新回答 / qq_最初的最初_1

代码呢

1 回答 680 浏览 5-3 Python爬虫urlib2实例代码演示

2019-09-03

为什么爬取360百科的时候下载的数据是b''

最新回答 / weixin_慕沐3302781

看上面回复有python3.0的链接https://github.com/niuyinlong/Python ，19年12月5日可以一点不改直接跑

1 回答 458 浏览 8-1 课程总结

2019-09-02

import urllib2 出错

已采纳回答 / 慕粉7380412

<...code...>

2 回答 805 浏览 5-3 Python爬虫urlib2实例代码演示

2019-08-29

请问方法二的"request"请求和方法三的“cj"容器哪儿错了?

已采纳回答 / 慕九州4113299

第三个地方我还用了了

import http.cookiejar

cj = http.cookiejar.CookieJar()

2 回答 739 浏览 5-3 Python爬虫urlib2实例代码演示

2019-08-29

ModuleNotFoundError: No module named 'baike_spider'

最新回答 / var_loser

baike_spider是包名，自己取的，你可以使用import 来引入不用from

2 回答 781 浏览 7-7 开始运行爬虫和爬取结果展示

2019-08-27

爬https时报错10044，怎么解决呢

最新回答 / 慕标5433479

没有安装PGM协议

1 回答 757 浏览 5-3 Python爬虫urlib2实例代码演示

2019-08-27

已经下载了beautisoup4模块为什么调取却失败

已采纳回答 / alone_shadow

我试了一下，我的也是报错的，应该是导入是 import bs4，而不是import beautifulsoup4

3 回答 870 浏览 6-2 BeautifulSoup模块介绍和安装

2019-08-25

第二种方法，我的执行不成功是为什么

最新回答 / SNaaa

解决了，忽略这个问题

1 回答 562 浏览 5-3 Python爬虫urlib2实例代码演示

2019-08-19

代码出现问题

最新回答 / 谷杨

1、线程如果使用Thread，在子线程中再用进程池Pool 就会报错，原理不太清楚，可能需要老师来回答了，换用Process 就没问题了；2、这个音乐的页面应该是从page=1开始的，所以我稍微改了一下入参。你可以看一下。

4 回答 1147 浏览 5-2 Python爬虫urlib2下载器网页的三种方法

2019-08-19

首页上一页 2 3 4 5 6 7 8 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫