为了账号安全,请及时绑定邮箱和手机立即绑定

请教一下爬取数据时遇到的爬取数据的问题。

请教一下爬取数据时遇到的爬取数据的问题。

挣钱就完了 2019-09-25 19:17:54
import requests from lxml import html import json etree = html.etree class BaoxiaoSpider:     # url_list     def __init__(self):         self.url_temp = "http://www.2bmv.com/index_{}.html"         self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}     # 获取url_list中的网址数据     def get_url_list(self):         # 返回的是网址后面index{}的页数的循环,共50页         return [self.url_temp.format(i) for i in range(3)]     # 发送请求,获取响应     def parse_url(self,url):         response = requests.get(url, headers=self.headers)         return response.content     # 提取数据     def get_content_list(self,html_str):         htmlDIV = etree.HTML(html_str)         # 根据div分组         div_list = htmlDIV.xpath("//div[@class='post']")         content_list = []         # 创建div的循环         for div in div_list:             # 如果每一个div下只有一个数据的话(如:发布者头像head_portrait),加上循环;如果每个div下含有多个数据(如:text),不加循环             item = {}             # 获取发布者的头像             # item["head_portrait"] = div.xpath("./p/img/@src")[0] if len(div.xpath("./p/img/@src"))>0 else None             # 发布时间和浏览数             # item["time"] = div.xpath("./div/div/text()")[0] if len(div.xpath("./div/text()"))>0 else None             # p标签下的文本             item["text"] = div.xpath(".//div[contains(@class,'pic_text')]/p/text()")             # 获取图片             # item["img"] = div.xpath("./div/div/center/img/@src")             content_list.append(item)         return content_list     # 保存数据     def save_content_list(self,content_list):         for i in content_list:             print(i)     # 实现主要逻辑     def run(self):         # 1. url_list         url_list = self.get_url_list()         # 2.遍历,发送请求,获取响应         for url in url_list:             html_str = self.parse_url(url)         # 3.提取数据         content_list = self.get_content_list(html_str)         # 4.保存数据         self.save_content_list(content_list) if __name__ == '__main__':     baoxiao = BaoxiaoSpider()     baoxiao.run()爬取的网站是:http://www.2bmv.com/index_1.html使用Xpath Helper工具查询,同样的路径下内容很多,但是爬取出来的内容就非常少。希望老师和各位大神可以解答一下疑惑。
查看完整描述

2 回答

  • 2 回答
  • 0 关注
  • 962 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信