读取前清理 CSV 文件

Question

我正在阅读一个带有encoding/csv库的大 CSV 文件。但是这个文件有点不标准并且包含非转义引号"打破读者在parser.Read()：2022/06/09 17:33:54 第 2 行第 5 列的解析错误：引用字段中的“无关或缺失”如果我使用parser.LazyQuotes = true，我会得到：2022/06/09 17:34:15 记录第2行：字段数错误错误的 CSV 文件（减少到最小值）foo.csv：1|2"a|b所以我需要删除所有出现的双引号"，我目前正在使用从终端对整个文件执行此操作sed 's/"//g'，但我想从 Go 脚本中删除它。知道我正在读取这样的文件，我应该怎么做：func processCSV(filepath string){    file, err := os.Open("foo.csv")    if err != nil {        log.Fatal(err)    }    parser := csv.NewReader(file)    parser.Comma = '|'    // parser.LazyQuotes = true    _, err = parser.Read() // skip headers    for {        record, err := parser.Read()        if err == io.EOF {            break        }        if err != nil {            log.Fatal(err)        }        // process record    }}

Answer 1

创建一个io.Reader，它从通过底层 io.Reader 读取的数据中删除引号。

// rmquote reads r with " removed.

type rmquote struct {

    r io.Reader

}

func (c rmquote) Read(p []byte) (int, error) {

    n, err := c.r.Read(p)

    // i is output position for loop below

    i := 0

    // for each byte read from the file

    for _, b := range p[:n] {

        // skip quotes

        if b == '"' {

            continue

        }

        // copy byte to output position and advance position

        p[i] = b

        i++

    }

    // output position is the new length

    return i, err

}

将其插入 CSV 阅读器和文件之间：

parser := csv.NewReader(rmquote{file})