为了账号安全,请及时绑定邮箱和手机立即绑定

使用 python 请求从网页中抓取数据

使用 python 请求从网页中抓取数据

拉丁的传说 2023-02-22 17:04:49
我正在尝试抓取域搜索页面(您可以在其中输入关键字,并获得一些随机结果)并且我在网络选项卡中找到了这个 api url https://api.leandomainsearch.com/search?query=computer&count=all(对于关键字:计算机),但出现此错误{'error': True, 'message': 'Invalid API Credentials'}这是代码import requestsr = requests.get("https://api.leandomainsearch.com/search?query=cmputer&count=all")print(r.json())
查看完整描述

1 回答

?
吃鸡游戏

TA贡献1829条经验 获得超7个赞

该站点需要您设置Authorization和RefererHTTP 标头。


例如:


import re

import json

import requests



kw = 'computer'


url = 'https://leandomainsearch.com/search/'

api_url = 'https://api.leandomainsearch.com/search'


api_key = re.search(r'"apiKey":"(.*?)"', requests.get(url, params={'q': kw}).text)[1]

headers = {'Authorization': 'Key ' + api_key, 'Referer': 'https://leandomainsearch.com/search/?q={}'.format(kw)}

data = requests.get(api_url, params={'query': kw, 'count': 'all'}, headers=headers).json()


# uncomment this to print all data:

# print(json.dumps(data, indent=4))


for d in data['domains']:

    print(d['name'])


print()

print('Total:', data['_meta']['total_records'])

印刷:


...


blackopscomputer.com

allegiancecomputer.com

northpolecomputer.com

monumentalcomputer.com

fissioncomputer.com

hedgehogcomputer.com

blackwellcomputer.com

reflectionscomputer.com

towerscomputer.com

offgridcomputer.com

redefinecomputer.com

quantumleapcomputer.com


Total: 1727


查看完整回答
反对 回复 2023-02-22
  • 1 回答
  • 0 关注
  • 81 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信