如何解决网络爬虫（硒和网络驱动程序）中的表计数器

Question

我对网络爬虫有一些疑问。我需要抓取香港黄金网站。https://i.stack.imgur.com/iM0Um.png https://i.stack.imgur.com/l83iH.png 我使用硒和网络驱动程序（Chrome驱动程序）来完成这个网络爬虫。现在，我想计算下表的数量：https://forumd.hkgolden.com/topics.aspx?type=BW&page=1我使用硒和网络驱动程序（Chrome驱动程序）来完成这个网络爬虫。https://i.stack.imgur.com/w3rC7.png https://i.stack.imgur.com/PTgyi.png 因此，我需要写一些关于计数器的代码。我看了这个关于网络抓取表格的视频：我知道他们的方法可以解决这个问题，他们使用len（）来计算它，但我习惯了我的网站和我的代码。我无法成功计数。我收到以下错误：Traceback (most recent call last):File ".\hkgolden.py", line 42, in <module>    cols = len(driver.find_element_by_xpath("/html/body/form/div[5]/div/div/div[2]/div[2]/div[2]/div/table/tbody/tr[4]/td")) #count number of columnsTypeError: object of type 'WebElement' has no len()现在，我只能写一个绝对值来完成这个爬虫。我该如何继续？

Answer 1

对于列表，您可以使用 not ，因此您可以获取大小。.find_elements.find_element

cols = len(driver.find_elements_by_xpath("/html/body/form/div[5]/div/div/div[2]/div[2]/div[2]/div/table/tbody/tr[4]/td")) #count number of columns