为了账号安全,请及时绑定邮箱和手机立即绑定
首页 手记 python爬虫小白学习笔记之数据存储(一)

python爬虫小白学习笔记之数据存储(一)

2020.03.20 17:18 1052浏览

(一)存储到mongodb:


    1.创建一个client对象,调用pymongo的MongoClient()方法,并传入数据库的url,使用client[db名]创建一个数据库db,


调用db[collection名],创建一个表coll,调用coll.insert(dict对象)插入数据。


# class MongoPipeline(object):

#     def __init__(self,mongo_url,mongo_db):

#         self.mongo_url = mongo_url

#         self.mongo_db = mongo_db

#     @classmethod

#     def from_crawler(cls,crawler):

#         return cls (

#             mongo_url=crawler.settings.get('MONGO_URL'),

#             mongo_db =crawler.settings.get('MONGO_DB')

#         )

#     def open_spider(self,spider):

#         self.clict = pymongo.MongoClient(self.mongo_url)

#         self.db  = self.clict[self.mongo_db]

#     def process_item(self,item,spider):

#         name = self.__class__.__name__

#         self.db[name].insert(dict(item))

#         return item

#     def close_spider(self,spider):

#         self.clict.close()




点击查看更多内容
1人点赞

若觉得本文不错,就分享一下吧!

评论

相关文章推荐

正在加载中
Python工程师
手记
粉丝
8
获赞与收藏
14

关注TA,一起探索更多经验知识

作者相关文章
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消