mysql高效導(dǎo)數(shù)據(jù)的方法講解
更新時(shí)間：2013年09月28日 21:06:00 作者：
模擬現(xiàn)網(wǎng)測(cè)試，需要搭建測(cè)試環(huán)境，導(dǎo)入上億級(jí)的數(shù)據(jù)到數(shù)據(jù)庫(kù)。對(duì)于到的問(wèn)題做些簡(jiǎn)單記錄，有需要的朋友可以參考一下
數(shù)據(jù)：一個(gè)db，2000個(gè)表格，2000張表格數(shù)據(jù)，每條記錄30個(gè)column，平均每張表格4.3w條記錄，總共86388670條記錄。
機(jī)器：linux 64bit 8G內(nèi)存 4核IntelX3320@2.5GHz
基本思路：
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語(yǔ)句放在xxxx.sql中
load語(yǔ)法：
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導(dǎo)入數(shù)據(jù)，會(huì)很慢，考慮并行，但可能有沖突，解決辦法：
load之前清空表
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關(guān)鍵字。
機(jī)器：linux 64bit 8G內(nèi)存 4核IntelX3320@2.5GHz
基本思路：
復(fù)制代碼 代碼如下:
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語(yǔ)句放在xxxx.sql中
load語(yǔ)法：
復(fù)制代碼 代碼如下:
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導(dǎo)入數(shù)據(jù)，會(huì)很慢，考慮并行，但可能有沖突，解決辦法：
load之前清空表
復(fù)制代碼 代碼如下:
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關(guān)鍵字。
相關(guān)文章
對(duì)于小的偏移量，直接使用limit來(lái)查詢(xún)沒(méi)有什么問(wèn)題，但隨著數(shù)據(jù)量的增大，越往后分頁(yè)，limit語(yǔ)句的偏移量就會(huì)越大，速度也會(huì)明顯變慢，接下來(lái)文章就向大家介紹其的原由，感興趣的小伙伴可參考下面文章具體內(nèi)容2021-09-09
MySQL Event Scheduler(事件調(diào)度器)
事件調(diào)度器是在 MySQL 5.1 中新增的另一個(gè)特色功能，可以作為定時(shí)任務(wù)調(diào)度器，取代部分原先只能用操作系統(tǒng)任務(wù)調(diào)度器才能完成的定時(shí)功能。2010-06-06
MySQL從命令行導(dǎo)入SQL腳本時(shí)出現(xiàn)中文亂碼的解決方法
這篇文章主要介紹了MySQL從命令行導(dǎo)入SQL腳本時(shí)出現(xiàn)中文亂碼的解決方法,分析了中文亂碼出現(xiàn)的原因并給出了兩種解決方法供大家參考,需要的朋友可以參考下2016-09-09
mysql是我們經(jīng)常會(huì)用到的一個(gè)數(shù)據(jù)庫(kù),mysql數(shù)據(jù)庫(kù)中有一個(gè)主鍵生成規(guī)則,就是自增,這篇文章主要給大家介紹了關(guān)于pt-archiver和自增主鍵的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-04-04
基于一致性hash算法(consistent hashing)的使用詳解
本篇文章對(duì)一致性hash算法(consistent hashing)的使用進(jìn)行了詳細(xì)的分析介紹。需要的朋友參考下2013-05-05
這篇文章主要介紹了mysql返回Boolean類(lèi)型的幾種情況，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-06-06
MySQL跨服務(wù)器關(guān)聯(lián)查詢(xún)的實(shí)現(xiàn)
本文主要介紹了MySQL跨服務(wù)器關(guān)聯(lián)查詢(xún)的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
MySQL隱式類(lèi)型的轉(zhuǎn)換陷阱和規(guī)則
這篇文章先是通過(guò)一個(gè)實(shí)例給大家講述在MySQL隱式類(lèi)型的轉(zhuǎn)換時(shí)遇到的陷阱，而后給大家介紹了MySQL隱式類(lèi)型的規(guī)則，對(duì)大家操作mysql隱式類(lèi)型的時(shí)候具有一定的參考借鑒價(jià)值，下面來(lái)一起看看吧。2016-09-09
解決The‘InnoDB’feature is disabled; you need MySQL built with ‘InnoDB’ to have it2011-09-09
今天小編就為大家分享一篇在MySQL中自定義參數(shù)的使用詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11