课程
/后端开发
/PHP
/PHP中的数据传输神器cURL
老师,我遇到一个问题,我抓取的网页里引用了其它框架,例如frame src="/menu/top.jsp" 此时,抓取回来的网页是没有这些的,也就是网页并不能正常的显示,请问该如何解决?
谢谢。
2014-08-17
源自:PHP中的数据传输神器cURL 2-4
正在回答
只能够单独抓取,这个是硬伤。比如页面当中的数据如果是通过Ajax来动态获取的话,curl也是无法拿到这些动态数据的。这两点应该说是curl的使用限制。
对于你这个情况,如果能够知道这个frame的url,那么直接抓取它也许就能够帮助你解决这个问题了。如果完整数据是合并起来的,也就是一部分数据在当前页面,一部分在frame里面。那么就只能先抓取当前页面,然后解析当前页面的html,找到这个frame的src,然后再次抓取这个frame的page,最后把两个页面的数据合并起来。
举报
cURL就是这样的利器,可以帮助大家操作各种网络资源
1 回答返回json是验证码为空,登录失败了,怎么破
1 回答如果是带有验证码的网页怎么登录?
1 回答我用命令行php -f D:\wamp\www\learn\curl\baidu.php > baidu.html 为什么没有生成baidu.html
1 回答为什么我查找不到curl;求解答
1 回答curl抓取问题
购课补贴联系客服咨询优惠详情
慕课网APP您的移动学习伙伴
扫描二维码关注慕课网微信公众号