如何将行从 STDIN 导入 Postgresql？

Question

在 Python 中，我有以下内容可以在不使用文件的情况下将行批量加载到 Postgresql：import csvimport subprocessmylist, keys = [{'name': 'fred'}, {'name': 'mary'}], ['name']p = subprocess.Popen(['psql', 'mydb', '-U', 'openupitsme', '-h', 'my.ip.address', '--no-password', '-c',    '\COPY tester(%s) FROM STDIN (FORMAT CSV)' % ', '.join(keys),    '--set=ON_ERROR_STOP=false'    ], stdin=subprocess.PIPE)for d in mylist:    dict_writer = csv.DictWriter(p.stdin, keys, quoting=csv.QUOTE_MINIMAL)    dict_writer.writerow(d)p.stdin.close()我试图在 Go 中完成同样的事情。我目前正在将行写入文件，然后导入它们，然后删除该文件。我想像在 Python 中一样从 STDIN 导入行。我有：package mainimport (    "database/sql"    "log"    "os"    "os/exec"    _ "github.com/lib/pq")var (    err error    db  *sql.DB)func main() {    var err error    fh := "/path/to/my/file.txt"    f, err := os.Create(fh)    if err != nil {        panic(err)    }    defer f.Close()    defer os.Remove(fh)    rows := []string{"fred", "mary"}    for _, n := range rows {        _, err = f.WriteString(n + "\n")        if err != nil {            panic(err)        }    }    // dump to postgresql    c := exec.Command("psql", "mydb", "-U", "openupitsme", "-h", "my.ip.address", "--no-password",        "-c", `\COPY tester(customer) FROM `+fh)    if out, err := c.CombinedOutput(); err != nil {        log.Println(string(out), err)    }}

Answer 1

该github.com/lib/pq包的文档实际上有一个例子，如何做你想做的。这是整个程序的改编文本：

package main

import (

    "database/sql"

    "log"

    "github.com/lib/pq"

)

func main() {

    records := [][]string{

        {"Rob", "Pike"},

        {"Ken", "Thompson"},

        {"Robert", "Griesemer"},

    }

    db, err := sql.Open("postgres", "dbname=postgres user=postgres password=postgres")

    if err != nil {

        log.Fatalf("open: %v", err)

    }

    if err = db.Ping(); err != nil {

        log.Fatalf("open ping: %v", err)

    }

    defer db.Close()

    txn, err := db.Begin()

    if err != nil {

        log.Fatalf("begin: %v", err)

    }

    stmt, err := txn.Prepare(pq.CopyIn("test", "first_name", "last_name"))

    if err != nil {

        log.Fatalf("prepare: %v", err)

    }

    for _, r := range records {

        _, err = stmt.Exec(r[0], r[1])

        if err != nil {

            log.Fatalf("exec: %v", err)

        }

    }

    _, err = stmt.Exec()

    if err != nil {

        log.Fatalf("exec: %v", err)

    }

    err = stmt.Close()

    if err != nil {

        log.Fatalf("stmt close: %v", err)

    }

    err = txn.Commit()

    if err != nil {

        log.Fatalf("commit: %v", err)

    }

}

在我的机器上，这会在大约 2 秒内导入 1 000 000 条记录。

Answer 2

下面的代码应该指向你想要去的方向：

package main

import (

    "fmt"

    "log"

    "os"

    "os/exec"

    "strings"

)

func main() {

    keys := []string{"customer"}

    sqlCmd := fmt.Sprintf("COPY tester(%s) FROM STDIN (FORMAT CSV)", strings.Join(keys, ","))

    cmd := exec.Command("psql", "<dbname>", "-U", "<username>", "-h", "<host_ip>", "--no-password", "-c", sqlCmd)

    cmd.Stdin = os.Stdin

    output, _ := cmd.CombinedOutput()

    log.Println(string(output))

}

如果密钥需要是动态的，您可以从os.Args.

请注意，如果您打算使用 psql 命令，那么您不需要导入 database/sql 或 lib/pq。如果您对使用 lib/pq 感兴趣，请查看lib/pq 文档中的批量导入。