如何修复 python 请求分页不起作用

Question

我正在尝试使用 python 请求进行分页，但我似乎无法获取总页面，并且 JSON 响应不会随着页面的更改而更新。url = 'https://www.walmart.com/store/1003-York-pa/search?query=ice%20cream'api_url = 'https://www.walmart.com/store/electrode/api/search'    params = {        'query': word,        'cat_id': 0,        'ps': 24,        'offset': 0,        'prg': 'desktop',        'stores': re.search(r'store/(\d+)', url).group(1)    }    data1 = requests.get(api_url, params=params).json()        num_pages = data1['pagination']['pages'][-1]['page']    for page in range(0, num_pages + 1):             params = {                'query': word,                'cat_id': 0,                'page':page,     // try to update the new page                'ps': 24,                'offset': 0,                'prg': 'desktop',                'stores': re.search(r'store/(\d+)', url).group(1)            }     data = requests.get(api_url, params=params).json()我做错了什么，我该如何解决？

Answer 1

在第二个params设置（for循环内）中，您需要删除'offset': 0,，因为它指示服务器每次都从第一页的第一个结果中获取。这是唯一的主要错误。修复后，我开始为每个页面请求获取不同的产品。

其次，for 循环可能应该从 开始1，因为正如我从响应中看到的，页面是从 1 开始计数的。

第三，第二次requests.get调用可能应该在分页 for 循环内，或者您只需复制带有错误缩进的粘贴代码。