Python中MySQL數(shù)據(jù)遷移到MongoDB腳本的方法
MongoDB簡(jiǎn)介
MongoDB 是一個(gè)基于分布式文件存儲(chǔ)的數(shù)據(jù)庫(kù)。由 C++ 語(yǔ)言編寫(xiě)。旨在為 WEB 應(yīng)用提供可擴(kuò)展的高性能數(shù)據(jù)存儲(chǔ)解決方案。
MongoDB 是一個(gè)介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的產(chǎn)品，是非關(guān)系數(shù)據(jù)庫(kù)當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫(kù)的。
MongoDB是一個(gè)文檔數(shù)據(jù)庫(kù)，在存儲(chǔ)小文件方面存在天然優(yōu)勢(shì)。隨著業(yè)務(wù)求的變化，需要將線上MySQL數(shù)據(jù)庫(kù)中的行記錄，導(dǎo)入到MongoDB中文檔記錄。
一、場(chǎng)景：線上MySQL數(shù)據(jù)庫(kù)某表遷移到MongoDB，字段無(wú)變化。
二、Python模塊：
使用Python的torndb,pymongo和time模塊。
*注釋：首先安裝setup.py,pip,MySQLdb
執(zhí)行如下命令即可：
pip install torndb
pip install pymongo
三、腳本內(nèi)容如下：
[root ~]#cat nmytomongo.py
#!/usr/bin/env python#fielName: mytomongo.py#Author:xkops#coding: utf-8import torndb,pymongo,time# connect to mysql databasemysql = torndb.Connection(host='127.0.0.1', database='database', user='username', password='password')#connect to mongodb and obtain total lines in mysqlmongo = pymongo.MongoClient('mongodb://ip').databasemongo.authenticate('username',password='password')countlines = mysql.query('SELECT max(table_field) FROM table_name')count = countlines[0]['max(table_field)']#count = 300print counti = 0 j = 100start_time = time.time()#select from mysql to insert mongodb by 100 lines.for i in range(0,count,100): #print a,b #print i #print 'SELECT * FROM quiz_submission where quiz_submission_id > %d and quiz_submission_id <= %d' %(i,j) submission = mysql.query('SELECT * FROM table_name where table_field > %d and table_field <= %d' %(i,j)) #print submission if submission: #collection_name like mysql table_name mongo.collection_name.insert_many(submission) else: i +=100 j +=100 continue i +=100 j +=100end_time = time.time()deltatime = end_time - start_timetotalhour = int(deltatime / 3600)totalminute = int((deltatime - totalhour * 3600) / 60)totalsecond = int(deltatime - totalhour * 3600 - totalminute * 60)#print migrate data total time consuming.print "Data Migrate Finished,Total Time Consuming: %d Hour %d Minute %d Seconds" %(totalhour,totalminute,totalsecond)
*注釋：按照自己的需求更改上述代碼中的數(shù)據(jù)庫(kù)地址，用戶，密碼，庫(kù)名，表名以及字段名等。
四、執(zhí)行遷移腳本:
[root ~]#python nmytomongo.py &> /tmp/migratelog.txt &
腳本執(zhí)行完成后查看/tmp/migratelog.txt數(shù)據(jù)遷移消耗的時(shí)間。
相關(guān)文章
今天小編就為大家分享一篇關(guān)于Python形參打包與解包小技巧分享，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
linux環(huán)境下安裝pyramid和新建項(xiàng)目的步驟
這篇文章簡(jiǎn)單介紹了linux環(huán)境下安裝pyramid和新建項(xiàng)目的步驟，大家參考使用2013-11-11
wxPython是Python編程語(yǔ)言的一個(gè)GUI工具箱。他使得Python程序員能夠輕松的創(chuàng)建具有健壯、功能強(qiáng)大的圖形用戶界面的程序。2009-02-02
深入解析Python的Tornado框架中內(nèi)置的模板引擎
模板引擎是Web開(kāi)發(fā)框架中負(fù)責(zé)前端展示的關(guān)鍵,這里我們就來(lái)以實(shí)例深入解析Python的Tornado框架中內(nèi)置的模板引擎,來(lái)學(xué)習(xí)如何編寫(xiě)Tonardo的模板.2016-07-07
這篇文章主要為大家詳細(xì)介紹了python合并同類型excel表格的方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-04-04
這篇文章主要介紹了python如何將mat文件轉(zhuǎn)為png，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-07-07
python使用knn實(shí)現(xiàn)特征向量分類
這篇文章主要為大家詳細(xì)介紹了python使用knn實(shí)現(xiàn)特征向量分類，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-12-12
時(shí)間序列重采樣和pandas的resample方法示例解析
這篇文章主要為大家介紹了時(shí)間序列重采樣和pandas的resample方法示例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-09-09
本文主要介紹了Python 正則 re.compile 真的必需嗎，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
Python是一種解釋型、面向?qū)ο蟆?dòng)態(tài)數(shù)據(jù)類型的高級(jí)程序設(shè)計(jì)語(yǔ)言。通過(guò)本文給大家介紹Python檢測(cè)網(wǎng)站鏈接是否已存在的相關(guān)內(nèi)容，需要的朋友一起學(xué)習(xí)吧2016-04-04