class MongoDBPipeline:
    def __init__(self,conn,database):
        self.conn = conn
        self.database = database
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            conn=crawler.settings.get('MONGODB_CONNECTION_STRING'),
            database=crawler.settings.get('MONGODB_DATABASE')
        )
    def open_spider(self,spider):
        # 創(chuàng)建連接對象
        self.client = pymongo.MongoClient(self.conn)
        # 連接要用的使用的數據庫
        self.db = self.client[self.database]
    def process_item(self,item,spider):
        # 設置使用表名稱
        name = item.__class__.__name__
        # 默認item類名
        self.db[name].insert_one(dict(item))
        return item
    def close_spider(self,spider):
        self.client.close()

PS:

1.不能用insert來插入數據，PyMongo 4.0.* 中 Collection.insert 方法被移除，使用 Collection.insert_one 或者 Collection.insert_many 替代：

db[name].insert_one({'my': 'document'})
db[name].insert_many([{'doc': 2}, {'doc': 3}])

2.process_item一定要寫return item，不然接收不了返回值。

3.open_spider, process_item, close_spider的名稱和參數不能改變，因為這是重寫類方法。

setting.py

MONGODB_CONNECTION_STRING = '127.0.0.1'
MONGODB_DATABASE = 'test'

補充知識點：類方法@classmethod

類方法也算一種實用的技巧，簡單描述之：“類方法讓類模板具有記憶力”。

類模板就是我們所定義的類。在普通情況下，不使用類方法對類進行實例化，類本身是不具有記憶性的。只是當一個靜態(tài)模板被套用多次而已。如果我們想讓類在每一次實例化之后，都能記載一些記憶，是否會對很多操作很有用？

舉個例子：

class Man:
    id = 0 # 類變量
    def __init__(self, name):
        self.name = name
        self.id = self.id_number()
    @classmethod
    def id_number(cls):
        cls.id += 1
        return cls.id
a = Man('A')
print(a.id)
b = Man('B')
print(b.id)

上面的輸出為: