如何获取执行完JS之后的网页源代码
比如我想获取bilibili首页的视频地址。。结果很多都获取不到。。貌似都是js执行生成很多视频地址。。
比如我想获取bilibili首页的视频地址。。结果很多都获取不到。。貌似都是js执行生成很多视频地址。。
2015-08-09
代码如下
var http=require('http')
var cheerio=require('cheerio')
var html=''
var src=[]
http.get('http://www.bilibili.com',function(res){
res.on('data',function(data){
html+=data
})
res.on('end',function(){
$=cheerio.load(html)
var re=/^.*\/video\/av\d+.*/
$('[href]').each(function(){
src.push(this.attribs.href)
})
src=src.filter(function(x){
return re.test(x)
})
console.log(src)
})
}).on('error',function(){
console.log('Error')
})举报