利用 Python + Selenium实现爬虫抓取表格数据（二） 简介

简介

距离上一次写爬虫的blog已经是一个月前了，那么今天我们接着往下写如何利用爬虫抓取表格数据并保存到excel中，这一次我换了一个内部写的Sample接下来看实现细节部分。

实现细节

还是在原来的login.py 文件中引入pandas 分析结构化数据的工具集

import pandas as pd

from openpyxl import load_workbook

引入之后我们就可以根据上一篇中利用 Python + Selenium实现爬虫模拟登录（一）中登录

self.browser.find_element_by_name('commit').click()  # 登录

time.sleep(1) #

登录成功之后真的成功的页面进行节点解析，模拟打开左边侧栏的层级

# 定位到第一层级

span_tags = self.browser.find_elements_by_xpath('//span[text()="用户"]')

span_tags[0].click()

# 打开微信用户页面

a_tags = self.browser.find_elements_by_xpath('//a[@href="/admin/wxusers"]')

a_tags[0].click()

通过上方的代码，我们就把侧边栏的内容彻展开并打开了页面，接下来最重要的代码来了 由于本次所写的内部Sample不是前后端分离的就需要获取页面当中的页数，通过一下代码进行获取总页数：

b_tags = self.browser.find_element_by_class_name('pagination.page.width-auto').find_elements_by_tag_name('b')

pageSize =  int(b_tags[1].text)

获取页数之后就需要对我们的页面进行一个for循环：

row = 10 # 记录每次写入Excel的行数

for i in range(pageSize):

循环的里边进行定位表格并获取表格的内容

lst = []  # 将表格的内容存储为list

element = self.browser.find_element_by_tag_name('tbody')  # 定位表格

# 提取表格内容td

tr_tags = element.find_elements_by_tag_name("tr")  # 进一步定位到表格内容所在的tr节点

for tr in tr_tags:

    td_tags = tr.find_elements_by_tag_name('td')

    for td in td_tags[:4]: #只提取前4列

        lst.append(td.text) #不断抓取的内容新增到list当中

提取到第一页的内容之后，将内容进行分割并连续保存到Excel当中

    # 确定表格列数

    col = 4

    # 通过定位一行td的数量，可获得表格的列数，然后将list拆分为对应列数的子list

    lst = [lst[i:i + col] for i in range(0, len(lst), col)]

    # list转为dataframe

    df = pd.DataFrame(lst)  # 列表数据转为数据框

    #等于1 表示当前是第一条数据，直接省成Excel

    if i == 0:

        df.to_excel('demo.xlsx', sheet_name='sheet_1', index=False,header=False)

    #在现有的文件当中新增内容并保存

    book = load_workbook('demo.xlsx')

    writer = pd.ExcelWriter('demo.xlsx', engine='openpyxl')

    writer.book = book

    writer.sheets = dict((ws.title, ws) for ws in book.worksheets)

    df.to_excel(writer, sheet_name='sheet_1', index=False,startrow=row,header=False)

    writer.save()

    time.sleep(1) # 停顿一秒是以防把本地的Sample并发过高

    row = row + 10 # 记录存储Excel的行数

内容保存之后点击下页，如此类推直到循环停止我们的数据也就抓取完成的

# 点击下一页

self.browser.find_element_by_class_name('next').click()

验证并进行测试

 以上是本次所抓取保存下来的内容。 目前第二篇我并没有录制视频，希望小伙伴自行验证，但可以保证的就是这些都是本人亲测通过的代码。

作者：qingwenLi