这个爬虫案例,着么把数据写到页面上
这个爬虫案例,着么把数据写到页面上
这个爬虫案例,着么把数据写到页面上
2017-03-17
//远吗如下
var http = require('http')
var cheerio = require('cheerio')
var url = 'http://www.imooc.com/learn/348'
function filterChapters(html){
var $ = cheerio.load(html);
var chapters = $('.chapter')
var courseData = [];
chapters.each(function(item){
var chapter = $(this);
var videos = chapter.find('.video').children('li');
var chapterData = {
videos:[]
}
videos.each(function(item){
var video = $(this).find('.J-media-item');
var videoTitle = video.text();
var id = video.attr('href').split('video/')[1];
chapterData.videos.push({
title:videoTitle,
id:id
})
})
courseData.push(chapterData);
})
return courseData;
}
function printCourseInfo(courseData){
courseData.forEach(function(item){
item.videos.forEach(function(video){
console.log('【' + video.id + '】' + video.title + '')
})
})
}
http.get(url,function(res){
var html = "";
res.on('data',function(data){
html += data
})
res.on('end',function(){
var courseData = filterChapters(html);
printCourseInfo(courseData);
})
}).on('error',function(){
console.log('获取课程数据出错!');
})举报