                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python开发简单爬虫

在add_new_urls方法内，是不是应该也判断下添加的新的urls是否在self.old_urls里面？

for url in urls:
    if url not in self.old_urls:
        self.new_urls.add(url)

如果不添加的话，就会重复爬取吧？

weibo_小强同学慢慢走在冷风_0

2016-01-15

源自：Python开发简单爬虫 7-3

关注问题我要回答

758

操作

收起

3 回答

忘记吧并不容易
2016-09-25

add方法好像还会重复的调用前面的add单个的方法。。所以不用担心

0 回复有任何疑惑可以回复我~

收起回答

啊B
2016-04-24

set会覆盖原有的相同信息，所以不必担心

0 回复有任何疑惑可以回复我~

收起回答

我是塞尔维斯
2016-01-17

没有必要，因为add_new_urls方法里边又调用到了add方法，判重已经在add中实现了

1 回复有任何疑惑可以回复我~

收起回答

慕移动2445652

可是为什么add_new_urls方法里的add方法会和add_new_urls方法里的add方法具有一样的功能？

2017-01-31 回复有任何疑惑可以回复我~

慕移动2445652 回复慕移动2445652

不好意思看错代码了，现在懂了~~~

2017-01-31 回复有任何疑惑可以回复我~

0/150

提交

取消

Python开发简单爬虫

参与学习 227575 人
解答问题 1288 个

本教程带您解开python爬虫这门神奇技术的面纱

进入课程

在add_new_urls方法内，是不是应该也判断下添加的新的urls是否在self.old_urls里面？

我要回答关注问题

热搜

最近搜索清空

在add_new_urls方法内，是不是应该也判断下添加的新的urls是否在self.old_urls里面？

3 回答

在add_new_urls方法内，是不是应该也判断下添加的新的urls是否在self.old_urls里面？