                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python开发简单爬虫

python 3.5 解析器代码问题

name 'new_urls' is not defined

这个怎么解决

00:05

厉害咯

2016-12-01

源自：Python开发简单爬虫 7-5

关注问题我要回答

2541

操作

收起

12 回答

猪猪的笨笨
2016-12-01

感觉你是最近才学的吧。如果是，建议你学习一下基础，然后一个一个模块的学习使用。最后再一次使用多个模块。而且，这个视频的python和模块有点老，你要小心有很多坑，我就是被坑了很多次！！！

0 回复有任何疑惑可以回复我~

收起回答

猪猪的笨笨
2016-12-01

第20行中第一个new_urls

0 回复有任何疑惑可以回复我~

收起回答

厉害咯提问者
2016-12-01

改了，只执行了2行

0 回复有任何疑惑可以回复我~

收起回答

猪猪的笨笨

你截图中的第20行，第一个new_url加s

2016-12-01 回复有任何疑惑可以回复我~

厉害咯提问者回复猪猪的笨笨

修改了，但是只爬了两个页面就停止了 craw 1 : http://baike.baidu.com/view/21087.htm craw 2 : http://baike.baidu.com/view/10812319.htm Process finished with exit code 0

2016-12-02 回复有任何疑惑可以回复我~

猪猪的笨笨回复厉害咯提问者

可是他没有报错。你的代码其他地方出问题了。好好的看一下。我建议你好好学一下基础，然后一个模块一个模块的编写代码，测试。最后再把多个模块串联起来写成一个程序0.0

2016-12-04 回复有任何疑惑可以回复我~

猪猪的笨笨
2016-12-01

第一个new_url加上s就好了

0 回复有任何疑惑可以回复我~

收起回答

厉害咯提问者

哪儿的？

2016-12-01 回复有任何疑惑可以回复我~

猪猪的笨笨
2016-12-01

第20行，new_url没有s

0 回复有任何疑惑可以回复我~

收起回答

厉害咯提问者
2016-12-01

#调度程序
import url_manager, html_downloader, html_parser, html_outputer

class SpiderMain(object):

    def __init__(self):
        self.urls = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer()

    def craw(self,root_url):
        count = 1
        self.urls.add_new_url(root_url)
        while self.urls.has_new_url():
            try:
                new_url = self.urls.get_new_url()
                print('craw %d : %s' % (count,new_url))
                html_cont = self.downloader.download(new_url)
                new_url,new_data = self.parser.parse(new_url,html_cont)
                self.urls.add_new_urls(new_urls)
                self.outputer.collect_data(new_data)

                if count == 1000:
                    break

                count = count + 1
            except Exception as err:
                print(err)

        self.outputer.output_html()


if __name__ == "__main__":
    root_url = "http://baike.baidu.com/view/21087.htm"
    obj_spider = SpiderMain()
    obj_spider.craw(root_url)

0 回复有任何疑惑可以回复我~

收起回答