MySQL實(shí)現(xiàn)批量推送數(shù)據(jù)到Mongo
更新時(shí)間：2023年05月04日 17:22:13 作者：小小鳥愛吃辣條
這篇文章主要為大家詳細(xì)介紹了MySQL如何實(shí)現(xiàn)批量推送數(shù)據(jù)到Mongo，文中的示例代碼講解詳細(xì)，具有一定的學(xué)習(xí)價(jià)值，感興趣的可以了解一下
import pymongo import mysql.connector
連接MySQL數(shù)據(jù)庫
mysql_conn = mysql.connector.connect( host="localhost", user="yourusername", password="yourpassword", database="yourdatabase" )
連接MongoDB數(shù)據(jù)庫
mongo_client = pymongo.MongoClient("mongodb://localhost:27017/") mongo_db = mongo_client["mydatabase"] mongo_collection = mongo_db["mycollection"]在MongoDB中為指定集合創(chuàng)建索引
mongo_collection.create_index([("myfield", pymongo.ASCENDING)])緩沖列表和計(jì)數(shù)器以在每10000行處理后進(jìn)行批處理
bulk_data = [] bulk_count = 0
創(chuàng)建游標(biāo)對(duì)象并從MySQL數(shù)據(jù)庫檢索數(shù)據(jù)
mysql_cursor = mysql_conn.cursor() mysql_cursor.execute("SELECT * FROM mytable")遍歷結(jié)果集并處理每個(gè)行。
for row in mysql_cursor: # 將一條記錄轉(zhuǎn)換成你的MongoDB文檔，然后將其添加到緩沖列表。
doc = { "myfield": row[0], "anotherfield": row[1], "yetanotherfield": row[2] } bulk_data.append(doc) bulk_count += 1# 如果我們達(dá)到了10000，請(qǐng)?jiān)诩现信坎迦刖彌_數(shù)據(jù)。
if bulk_count == 10000:
mongo_collection.insert_many(bulk_data)
# 重置計(jì)數(shù)器并清除緩沖數(shù)據(jù)列表
bulk_count = 0
bulk_data.clear()處理剩余的行，如果有任何事情需要處理。
if bulk_count > 0: mongo_collection.insert_many(bulk_data)
關(guān)閉MySQL連接。
mysql_conn.close()
import pymongo
import mysql.connector
# 連接MySQL數(shù)據(jù)庫
mysql_conn = mysql.connector.connect(
host="localhost",
user="yourusername",
password="yourpassword",
database="yourdatabase"
)
# 連接MongoDB數(shù)據(jù)庫
mongo_client = pymongo.MongoClient("mongodb://localhost:27017/")
mongo_db = mongo_client["mydatabase"]
mongo_collection = mongo_db["mycollection"]
# 在MongoDB中為指定集合創(chuàng)建索引
mongo_collection.create_index([("myfield", pymongo.ASCENDING)])
# 緩沖列表和計(jì)數(shù)器以在每10000行處理后進(jìn)行批處理
bulk_data = []
bulk_count = 0
# 創(chuàng)建游標(biāo)對(duì)象并從MySQL數(shù)據(jù)庫檢索數(shù)據(jù)
mysql_cursor = mysql_conn.cursor()
mysql_cursor.execute("SELECT * FROM mytable")
# 遍歷結(jié)果集并處理每個(gè)行。
for row in mysql_cursor:
# 將一條記錄轉(zhuǎn)換成你的MongoDB文檔，然后將其添加到緩沖列表。
doc = {
"myfield": row[0],
"anotherfield": row[1],
"yetanotherfield": row[2]
}
bulk_data.append(doc)
bulk_count += 1
# 如果我們達(dá)到了10000，請(qǐng)?jiān)诩现信坎迦刖彌_數(shù)據(jù)。
if bulk_count == 10000:
mongo_collection.insert_many(bulk_data)
# 重置計(jì)數(shù)器并清除緩沖數(shù)據(jù)列表
bulk_count = 0
bulk_data.clear()
# 處理剩余的行，如果有任何事情需要處理。
if bulk_count > 0:
mongo_collection.insert_many(bulk_data)
# 關(guān)閉MySQL連接。
mysql_conn.close()到此這篇關(guān)于MySQL實(shí)現(xiàn)批量推送數(shù)據(jù)到Mongo的文章就介紹到這了,更多相關(guān)MySQL推送數(shù)據(jù)到Mongo內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了MySQL多表查詢的具體實(shí)例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
這篇文章主要介紹了mysql innodb的重要組件的相關(guān)資料，幫助大家更好的理解和學(xué)習(xí)MySQL，感興趣的朋友可以了解下2020-12-12
這篇文章主要介紹了一條sql語句在mysql中是如何執(zhí)行的，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
這篇文章主要為大家詳細(xì)介紹了Centos MySQL 5.7安裝、升級(jí)教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-01-01
本文主要介紹了基于MySQL和Redis扣減庫存的實(shí)踐，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-05-05
linux系統(tǒng)中mysql數(shù)據(jù)庫的導(dǎo)入和導(dǎo)出
本文給大家簡(jiǎn)單記錄了一下在linux系統(tǒng)中mysql數(shù)據(jù)庫的導(dǎo)入和導(dǎo)出的方法，有相同需求的小伙伴可以參考下2016-02-02
這篇文章主要介紹了MYSQL事務(wù)的隔離級(jí)別與MVCC，文章首先通過事務(wù)的相關(guān)內(nèi)容展開主題主要介紹，具有一定的參考價(jià)值，需要的小伙伴可以參一下2022-05-05
jdbc連接mysq之serverTimezone設(shè)定方式
這篇文章主要介紹了jdbc連接mysq之serverTimezone設(shè)定方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
mysql 5.7.13 安裝配置方法圖文教程(linux)
這篇文章主要為大家詳細(xì)介紹了linux下mysql 5.7.13 安裝配置方法圖文教程，感興趣的小伙伴們可以參考一下2016-06-06
InnoDB默認(rèn)的全文索引parser非常合適于Latin，因?yàn)長(zhǎng)atin是通過空格來分詞的。但對(duì)于像中文，日文和韓文來說，沒有這樣的分隔符。一個(gè)詞可以由多個(gè)字來組成，所以我們需要用不同的方式來處理。在MySQL 5.7.6中我們能使用一個(gè)新的全文索引插件來處理它們：n-gram parser。2016-12-12