为了账号安全,请及时绑定邮箱和手机立即绑定

试图抓取网址

试图抓取网址

皈依舞 2022-11-24 15:17:48

所以我试图从 Steam 上的免费游戏网站获取所有网址,但它一直返回空。我不知道我在这里做错了什么,下图显示了路径


result = requests.get("https://steamdb.info/upcoming/free/")

src = result.content

soup = BeautifulSoup(src, 'lxml')


urls = []

for td_tag in soup.find_all('td'):

    a_tag = td_tag.find('a')

    urls.append(a_tag.attrs['href'])


print(urls)

http://img1.sycdn.imooc.com/637f1ab2000104e106730114.jpg

查看完整描述

1 回答

?
BIG阳

TA贡献1557条经验 获得超1个赞

您必须使用标头User-Agent,它不能很短Mozilla/5.0,但是来自真实网络浏览器的完整字符串


import requests

from bs4 import BeautifulSoup


headers = {

    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64; rv:78.0) Gecko/20100101 Firefox/78.0",

}


result = requests.get("https://steamdb.info/upcoming/free/", headers=headers)

soup = BeautifulSoup(result.content, 'lxml')


#print(result.content)

urls = []

for td_tag in soup.find_all('td'):

    a_tag = td_tag.find('a')

    if a_tag:

        urls.append(a_tag.attrs['href'])


print(urls)


查看完整回答
反对 回复 4天前

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信