Python - Beautifulsoup - 从要抓取的列表中传递单个 url

Question

我正在尝试接收下一页上的网址列表https://sport-tv-guide.live/live/tennis收集到这些 URL 后，我需要将每个 URL 传递给一个抓取函数，以抓取并输出相关的匹配数据。如果特定页面上只有一个匹配项，则数据会正确输出，例如 - https://sport-tv-guide.live/live/darts（见下面的输出）当我使用一个包含多个链接的页面时会出现此问题，例如 - https://sport-tv-guide.live/live/tennis，似乎正在正确抓取 URL（使用打印确认，打印URLS），但它们似乎没有正确传递给要抓取的内容，因为脚本只是默默地失败了（见下面的输出）代码如下：import requestsfrom bs4 import BeautifulSoupdef makesoup(url):    cookies = {'mycountries' : '101,28,3,102,42,10,18,4,2'}    r = requests.post(url,  cookies=cookies)    return BeautifulSoup(r.text,"lxml")   def linkscrape(links):    baseurl = "https://sport-tv-guide.live"    urllist = []        for link in links:        finalurl = (baseurl+ link['href'])        urllist.append(finalurl)        # print(finalurl)            for singleurl in urllist:        soup2=makesoup(url=singleurl)        print(singleurl)        g_data=soup2.find_all('div', {'class': 'main col-md-4 eventData'})        for match in g_data:            hometeam =  match.find('div', class_='cell40 text-center teamName1').text.strip()            awayteam =  match.find('div', class_='cell40 text-center teamName2').text.strip()            dateandtime = match.find('div', class_='timeInfo').text.strip()            print("Match ; " + hometeam + "vs" +  awayteam)             print("Date and Time; ", dateandtime)             def matches():    soup=makesoup(url = "https://sport-tv-guide.live/live/tennis")    linkscrape(links= soup.find_all('a', {'class': 'article flag',  'href' : True}))    我假设问题是，当有多个 URL 时，它们将作为一个大字符串而不是单独的 URL 传递，但我不确定如何让它一次只传递 URL 列表中的每个 URL被刮掉？感谢任何可以提供建议或帮助解决此问题的人。

Answer 1

分析链接后，2个链接指向不同布局的不同页面。

https://sport-tv-guide.live/live/tennis - 当您获得所有链接时使用此链接，它们指向不同的页面布局。

https://sport-tv-guide.live/live/darts - 此页面中的链接指向此布局。

如果您需要从https://sport-tv-guide.live/live/tennis的所有链接中抓取数据，可以使用以下脚本。

import requests

from bs4 import BeautifulSoup

def makesoup(url):

    cookies = {'mycountries' : '101,28,3,102,42,10,18,4,2'}

    print(url)

    r = requests.post(url,  cookies=cookies)

    return BeautifulSoup(r.text,"lxml")

   

def linkscrape(links):

    baseurl = "https://sport-tv-guide.live"

    urllist = []

    

    for link in links:

        finalurl = baseurl + link['href']

        urllist.append(finalurl)

        

    for singleurl in urllist:

        soup2=makesoup(url=singleurl)

        g_data=soup2.find('div', {'class': 'eventData'})

        try:

            teams = g_data.find_all("div", class_=["row","mb-5"])

            

            print("HomeTeam - {}".format(teams[0].find("div", class_="main col-md-8 col-wrap").text.strip()))

            print("AwayTeam - {}".format(teams[1].find("div", class_="main col-md-8 col-wrap").text.strip()))

            channelInfo = g_data.find("div", {"id":"channelInfo"})

            print("Time - {}".format(channelInfo.find("div", class_="time full").text.strip()))

            print("Date - {}".format(channelInfo.find("div", class_="date full").text.strip()))

        except :

            print("Data not found")

def matches():

    soup=makesoup(url = "https://sport-tv-guide.live/live/tennis")

    linkscrape(links=soup.find_all('a', {'class': 'article flag',  'href' : True}))

matches()

注意：我已经放了try/except，因为从页面获得的链接没有相同的布局。

输出：

https://sport-tv-guide.live/live/tennis

https://sport-tv-guide.live/event/live-tennis-national-tennis-centre-roehampton?uid=191007191100

Data not found

https://sport-tv-guide.live/event/bett1-aces-berlin/?uid=71916304

HomeTeam - Tommy Haas - Roberto Bautista-Agut

AwayTeam - Dominic Thiem - Jannik Sinner

Time - 11:15

Date - Sunday, 07-19-2020

https://sport-tv-guide.live/event/bett1-aces-berlin/?uid=71916307

HomeTeam - Tommy Haas - Roberto Bautista-Agut

AwayTeam - Dominic Thiem - Jannik Sinner

Time - 14:00

Date - Sunday, 07-19-2020

https://sport-tv-guide.live/event/bett1-aces-berlin/?uid=17207191605

HomeTeam - Tommy Haas - Roberto Bautista-Agut

AwayTeam - Dominic Thiem - Jannik Sinner

Time - 14:05

Date - Sunday, 07-19-2020

https://sport-tv-guide.live/event/world-teamtennis/?uid=161707191630102

Data not found