使用Scrapy时如何将多个项目插入数据库？

Question

现在大多数数据库都支持一次将多条记录插入数据库。这比一条一条插入记录要快得多，因为只需要一笔事务。SQL 语法与此类似：INSERT INTO tbl_name (a,b,c) VALUES(1,2,3), (4,5,6), (7,8,9);现在我正在一个小项目上使用Python Scrapy。我使用其项目管道将抓取的数据存储到数据库中。然而，项目管道背后的逻辑是，将在每个项目上调用相关方法。所以它总是一次插入一个项目。我怎样才能收集大约 100 个项目并在一次运行中插入它们？

Answer 1

您需要将管道重构为如下所示：

class DatabasePipeline(object):

    def open_spider(self, spider):

        #Create database connection

        ...

        #create items list

        self.items = []

    def process_item(self,item,spider):

        self.items.append(item)

        if len(self.items)==100:

            #constuct SQL query to insert multiple records

            ...

            #execute query and clean self.items

            self.items = []

        return item

    def close_spider(self,spider):

        #insert remaining records

        if self.items:

            #constuct SQL query to insert multiple records

            ...

            #execute query

        #close database connection