在 Scrapy 中抓取用户评论 - 网站从哪里获取数据？

Question

谁能告诉我如何使用 Scrapy 从该页面获取用户评论的文本？我了解如何使用选择器从抓取的代码中检索项目，但该页面似乎正在为其他地方的评论绘制数据。我不知道在哪里。我尝试使用站点检查器和 Chrome 中的“网络”选项卡检查站点。我以为它可能是“ https://user.guancha.cn/static/js/comments-plugin-cms.js?201910221652 ”，但我看不到存储在那里的评论。谢谢你的帮助！

Answer 1

这篇文章的评论来自这个请求：https ://user.guancha.cn/comment/cmt-list.json?codeId=440605&codeType=1&pageNo=1&order=1&ff=www

在这里你可以看到一些重要的变量：codeId（这是某种articleid，这个数字是在文章的页面上设置的，你可以在页面的源代码中看到它）和用于分页的光标 - pageNo。

因此，您只需要获取感兴趣文章的 codeId 并从此端点 (cmt-list.json) 抓取它的所有评论。响应是json，所以很容易解析评论的数据。