爬虫

介绍

今日在追一篇网络小说，由于个人比较穷，所以看不起正规网站的小说，无奈之下只能看一些免费的网站，我估计免费网站的小说也是爬取来的内容。但是想必大家都清楚，哪些免费的网站是靠什么盈利的。那就是广告啊，铺天盖地的的广告，防不胜防。

那怎么办呢，学了这么久的golang，试试自己爬一下吧。从哪里爬呢，就从免费的网站上爬吧。

准备

在实现爬虫之前，先介绍两个go的库

goquery

做过 Web 开发的，应该都用过或听过 jQuery，它提供了方便的操作 DOM 的 API。使用 Go 语言做服务器端开发，有时候需要解析 HTML 文件，比如抓取网站内容、写一个爬虫等。这时候如果有一个类似 jQuery 的库可以使用，操作 DOM 会很方便，而且，上手也会很快。github.com/PuerkitoBio/goquery 这个库就实现了类似 jQuery 的功能，让你能方便的使用 Go 语言操作 HTML 文档。

另外有一篇很不错的goquery介绍的文章：GO 语言版 JQUERY — GOQUERY。具体使用方法可以参考这篇文章

mahonia

github.com/axgle/mahonia
这个包是golang中的字符集转换用的，因为很多时候，我们爬取的内容的编码格式可能是各种各样的，这里我们需要做一个统一的处理，转成utf-8的格式。

然后使用这个工具包，再进行一些简单的封装，形成以下的方法：

package commonimport (    "github.com/axgle/mahonia")func ConvertToString(src string, srcCode string, tagCode string) string {
    srcCoder := mahonia.NewDecoder(srcCode)
    srcResult := srcCoder.ConvertString(src)
    tagCoder := mahonia.NewDecoder(tagCode)
    _, cdata, _ := tagCoder.Translate([]byte(srcResult), true)
    result := string(cdata)    return result
}

func GbkToUtf8(src string)string{    return ConvertToString(src, "gbk", "utf-8")
}

因为很多情况我们遇到的都是gbk格式的编码，所以这里写了个gbk转utf-8的方法

实现爬虫

前面的2个工具已经介绍完了，接下来，就是把他们拼装组合一下，就是我自己的爬虫了。是不是很简单呢？下面就做一些简单的实现吧。

数据库设计

因为本次实现的比较简单，所以数据库的表也不复杂，表结构如下：

数据库表结构

其中，book表中的name字段是由唯一约束的，是为了保证书名唯一，这也是对于书名的简单去重处理。
另外，url表记录的是爬取的url地址信息，status的取值为：-1 -> 失效url, 0 -> 已爬取url, 1 -> 未爬取url。url字段具有唯一约束，避免重复。

爬虫设计

前面已经设计好了数据库，下面就是爬取数据，然后对数据库进行增删改查的操作了。

配置信息

首先，我们需要一些信息进行配置，包括日志，还有数据库：

[log]
level = 1
adapter = file

[db]
host = 127.0.0.1
port = 3306
user = root
password = 654321
name = chain_book
timezone = Asia/Shanghai
prefix = bo_

当然这里的配置模块，以及日志模块是我之前写的一些简单的库里面的功能，可参考：igo

数据库操作

数据库的orm我使用的是beego的orm模块，不熟悉的可以看下beego 官方文档。
这里，我仅将init函数贴出来，具体model的操作方法，可看源码：

package modelsimport(    "net/url"
    
    "github.com/Chain-Zhang/igo/conf"

    _ "github.com/go-sql-driver/mysql"
    "github.com/astaxie/beego/orm")func init(){
    dbhost := conf.AppConfig.GetString("db.host")
    dbport := conf.AppConfig.GetString("db.port")
    dbuser := conf.AppConfig.GetString("db.user")
    dbpwd := conf.AppConfig.GetString("db.password")
    dbname := conf.AppConfig.GetString("db.name")
    timezone := conf.AppConfig.GetString("db.timezone")    if dbport == ""{
        dbport = "3306"
    }
    dsn := dbuser + ":" + dbpwd + "@tcp(" + dbhost + ":" + dbport + ")/" + dbname + "?charset=utf8"
    if timezone != "" {
        dsn = dsn + "&loc=" + url.QueryEscape(timezone)
    }
    orm.RegisterDataBase("default","mysql",dsn)
    orm.RegisterModel(new(Book), new(Chapter), new(Url))
}

爬取数据

到此，万事具备只欠东风了。接下来开始爬取数据了。

因为可能会有不同的源数据，那么，html文档的结构肯定也就不一样了。所以，这边就先实现一个爬虫的接口。以及信息的结构体和实例化方法：

package spiderimport (    "errors")type SBook struct{
    Name string
    Image string
    Url string
    Chapters []*SChapter
}

type SChapter struct{
    Title string
    Url string
    Order int
    Pre int
    Next int
    Content string}

type Spider interface{
    SpiderUrl(url string) error
}func NewSpider(from string) (Spider, error){    switch from{    case "booktxt":        return new(BookTextSpider), nil    default:        return nil, errors.New("系统暂未处理该类型的配置文件")
    }
}

代码中的booktxt的源是www.booktxt.net ，而且，这个Spider函数是针对一本书的爬取（因为我只是爬我自己想看的小说，所有不对全站爬取，不贪心）。

然后就是针对booktxt的爬取操作了。

package spider

import (    "time"
    "strings"
    "ispider/common"
    "ispider/models"
    "github.com/PuerkitoBio/goquery"
    "github.com/Chain-Zhang/igo/ilog")

type BookTextSpider struct{
    
}

func (self *BookTextSpider)SpiderUrl(url string)( error){
    book := SBook{}
    book.Url = url
    doc, err := goquery.NewDocument(url)    if err != nil{        return err
    }
    bookname := common.GbkToUtf8(doc.Find("#info h1").Text())
    
    b, err := models.GetBookByName(bookname)    if err != nil{
        b := models.Book{Name:bookname, CreatedAt:time.Now(), UpdatedAt:time.Now()}
        models.BookAdd(&b)
    }
    doc.Find("#list dd").Each(func (i int, contentSelection *goquery.Selection){        if i < 9{            return
        }
        pre := i - 9
        next := i -7
        title := common.GbkToUtf8(contentSelection.Find("a").Text())
        href, _ := contentSelection.Find("a").Attr("href")
        chapter := SChapter{Title:title,Url:"http://www.booktxt.net"+href, Order:i - 8, Pre:pre, Next:next}
        book.Chapters = append(book.Chapters, &chapter)
        u := models.Url{Url:chapter.Url}
        models.UrlAdd(&u)
    })


    
    channel := make(chan struct{}, 100)    for _, chapter := range book.Chapters{
        channel <- struct{}{}
        go SpiderChapter(b.Id, chapter, channel)
    }    
    for i := 0; i < 100; i++{
        channel <- struct{}{}
    }
    close(channel)    return nil}

type ChanTag struct{}

func SpiderChapter(bookid int, chapter *SChapter, c chan struct{}){
    defer func(){<- c}()    if models.IsValidUrl(chapter.Url){
        doc, err := goquery.NewDocument(chapter.Url)        if err != nil{
            ilog.AppLog.Error("get chapter details error: ", err.Error())            return
        }
        content := doc.Find("#content").Text()
        content = common.GbkToUtf8(content)
        content = strings.Replace(content, "聽", " ", -1)
        ch := models.Chapter{BookId:bookid, Title:chapter.Title, Content:content,Sort:chapter.Order, Pre:chapter.Pre, Next:chapter.Next, CreatedAt:time.Now(),UpdatedAt:time.Now()}
        models.ChapterAdd(&ch)
        models.SpideredUrl(chapter.Url)
    }
}

调用

package mainimport (    "ispider/spider"
    "fmt"
    "github.com/Chain-Zhang/igo/ilog")func main() {
    ilog.AppLog.Info("start")
    s, err := spider.NewSpider("booktxt")    if err != nil{
        ilog.AppLog.Fatal("new Spider error: ", err.Error())
    }
    err = s.SpiderUrl("http://www.booktxt.net/2_2219/")    if err != nil{
        ilog.AppLog.Fatal("new Document error: ", err.Error())
    }
    var str string
    fmt.Scan(&str)
}

这样，我们的小说就进到数据库里啦，只要写个前端看就行了，再也不会有广告了。哈哈哈。

作者：ChainZhang
链接：https://www.jianshu.com/p/757d133021de