python異步存儲數(shù)據(jù)詳解
在Python中，數(shù)據(jù)存儲方式分為同步存儲和異步存儲。同步寫入速度比較慢，而爬蟲速度比較快，有可能導(dǎo)致數(shù)據(jù)保存不完整，一部分數(shù)據(jù)沒有入庫。而異步可以將爬蟲和寫入數(shù)據(jù)庫操作分開執(zhí)行，互不影響，所以寫入速度比較快，能夠保證數(shù)據(jù)的完整性。
異步存儲數(shù)據(jù)庫大致看分為以下步驟：
1. 在settings中配置Mysql鏈接需要的參數(shù)(主機地址、用戶賬號、密碼、需要操作的表名、編碼格式等)
2. 自定義Pipeline，實現(xiàn)from_settings函數(shù)
3. from twisted.enterprise import adbapi 引入連接池模塊
4. from pymysql import cursors 引入游標模塊
5. 在from_settings中，準備鏈接數(shù)據(jù)庫參數(shù)，創(chuàng)建db_pool連接池，創(chuàng)建返回當前類的對象，傳入db_pool
6. 實現(xiàn)初始化函數(shù),在初始化函數(shù)中,將db_pool賦值self的屬性
7. 實現(xiàn)process_item函數(shù)
7.1 query = self.db_pool.runInteraction(執(zhí)行插入數(shù)據(jù)操作的函數(shù)對象，函數(shù)需要參數(shù))，并接受執(zhí)行返回結(jié)果
7.2 query.addErrback(錯誤回調(diào)函數(shù)，函數(shù)需要參數(shù))，添加執(zhí)行sql失敗回調(diào)的函數(shù)，在回調(diào)函數(shù)中對錯誤數(shù)據(jù)進一步處理
8. 實現(xiàn)插入數(shù)據(jù)操作的函數(shù)，準備sql，執(zhí)行sql
9. 實現(xiàn)錯誤回調(diào)函數(shù)，在回調(diào)函數(shù)中對錯誤數(shù)據(jù)進一步處理
下面，我們以天堂圖片網(wǎng)為例，大致熟悉一下異步存儲：
1. 在存儲之前，可以選擇手動創(chuàng)建數(shù)據(jù)庫（表名、字段名、字段類型等自己定義），也可以選擇代碼創(chuàng)建。
2. 存儲數(shù)據(jù)之前還得先拿到數(shù)據(jù)
import scrapy
from ..items import ImgItem
class IvskySpider(scrapy.Spider):
name = 'ivsky'
allowed_domains = ['ivsky.com']
start_urls = ['http://www.ivsky.com/tupian/ziranfengguang/']
def parse(self, response):
imgs = response.xpath('//div[@class="il_img"]/a/img')
for img in imgs:
alt = img.xpath('@alt').extract_first('')
src = img.xpath('@src').extract_first('')
item = ImgItem()
item['alt'] = alt
item['src'] = src
yield item
3. 自定義item，并把數(shù)據(jù)傳進去
import scrapy class IvskySpiderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pass class ImgItem(scrapy.Item): alt = scrapy.Field() src = scrapy.Field()
4. 接下來就是settings中的配置，代碼如下（robots協(xié)議記得改為False）：
MYSQL_HOST = '127.0.0.1' MYSQL_USER = 'root' MYSQL_PW = '123456' MYSQL_DB = 'ivskydb' MYSQL_CHARSET = 'utf8'
5. 再然后自定義pipeline，并把該pipeline在settings中配置（設(shè)置優(yōu)先級）：
from twisted.enterprise import adbapi
from pymysql import cursors
class TwistedMysqlPipeline(object):
# 在調(diào)用TwistedMysqlPipeline時，第一個調(diào)用該函數(shù)
@classmethod
def from_settings(cls, settings):
#準備需要用到的鏈接mysql的參數(shù)
db_prams = dict(
host=settings['MYSQL_HOST'],
user=settings['MYSQL_USER'],
password=settings['MYSQL_PW'],
db=settings['MYSQL_DB'],
port=3306,
use_unicode=True,
charset=settings['MYSQL_CHARSET'],
# 指定使用的游標類型
cursorclass=cursors.DictCursor
)
# 創(chuàng)建連接池對象，需要傳入兩個參數(shù)
# 1.使用操作mysql第三方包名
# 2.連接數(shù)據(jù)庫需要的參數(shù)
db_pool = adbapi.ConnectionPool('pymysql', **db_prams)
return cls(db_pool)
def __init__(self, db_pool):
# 將連接池對象賦值self.db_pool屬性
self.db_pool = db_pool
def process_item(self, item, spider):
# 準備sql
# 執(zhí)行sql
# 執(zhí)行一個將item數(shù)據(jù)寫入數(shù)據(jù)庫的動作
# 1.執(zhí)行操作的函數(shù)
# 2.執(zhí)行函數(shù)需要的參數(shù)....
query = self.db_pool.runInteraction(self.insert_item, item)
# 執(zhí)行sql出現(xiàn)異常錯誤時，回調(diào)的函數(shù)
query.addErrback(self.handle_error, item, spider)
return item
# 插入數(shù)據(jù)出現(xiàn)錯誤時，回調(diào)的函數(shù)
def handle_error(self, failure, item, spider):
print(failure)
print(item)
# 執(zhí)行插入數(shù)據(jù)的函數(shù)
def insert_item(self, cursor, item):
# 創(chuàng)建sql
sql = "INSERT INTO ivs(alt,src)VALUES(%s,%s)"
# 執(zhí)行sql
cursor.execute(sql,(item['alt'], item['src']))
6. pipeline在settings中的配置
ITEM_PIPELINES = {
# 'ivsky_spider.pipelines.MysqlPipeline': 300,
'ivsky_spider.pipelines.TwistedMysqlPipeline': 300,
}
代碼到這里就結(jié)束了。
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
在本篇文章里小編給大家整理的是關(guān)于Python函數(shù)中的可變長參數(shù)的相關(guān)知識點內(nèi)容，有需要的朋友們參考下。2019-09-09
這篇文章主要介紹了Python數(shù)據(jù)可視化制作全球地震散點圖，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，需要的朋友可以參考一下2022-08-08
在本文里我們給大家分享了關(guān)于python中嵌套函數(shù)的步驟圖文分解，有需要的朋友們跟著學習下。2019-02-02
這篇文章主要介紹了python—sys模塊之獲取參數(shù)的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
Python中條件語句、循環(huán)語句和pass語句的使用示例
Python條件語句是通過一條或多條語句的執(zhí)行結(jié)果（True或者False）來決定執(zhí)行的代碼塊,下面這篇文章主要給大家介紹了關(guān)于Python中條件語句、循環(huán)語句和pass語句使用的相關(guān)資料,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了Python接口自動化之request請求封裝源碼分析，文章圍繞主題的相關(guān)資料展開詳細的內(nèi)容介紹，具有一定的參考價值，感興趣的小伙伴可以參考一下2022-06-06
詳解Pandas如何高效對比處理DataFrame的兩列數(shù)據(jù)
我們在用?pandas?處理數(shù)據(jù)的時候，經(jīng)常會遇到用其中一列數(shù)據(jù)替換另一列數(shù)據(jù)的場景。這一類的需求估計很多人都遇到，當然還有其它更復(fù)雜的。解決這類需求的辦法有很多，這里我們來推薦幾個2022-09-09
Python使用Pickle庫實現(xiàn)讀寫序列操作示例
這篇文章主要介紹了Python使用Pickle庫實現(xiàn)讀寫序列操作,結(jié)合實例形式分析了pickle模塊的功能、常用函數(shù)以及序列化與反序列化相關(guān)操作技巧,需要的朋友可以參考下2018-06-06
本文主要講解了canny邊緣檢測原理：計算梯度幅值和方向、根據(jù)角度對幅值進行非極大值抑制、用雙閾值算法檢測和連接邊緣以及python 實現(xiàn)2020-09-09
這篇文章主要介紹了在Python中如何讓字典保持有序，文章基于python的相關(guān)資料展開詳細內(nèi)容，需要的小伙伴可以參考一下2022-04-04