MySQL 大數(shù)據(jù)量快速插入方法和語句優(yōu)化分享
更新時(shí)間:2012年04月14日 02:32:42 作者:
對于事務(wù)表,應(yīng)使用BEGIN和COMMIT代替LOCK TABLES來加快插入
鎖定也將降低多連接測試的整體時(shí)間,盡管因?yàn)樗鼈兊群蜴i定最大等待時(shí)間將上升。例如:
Connection 1 does 1000 inserts
Connections 2, 3, and 4 do 1 insert
Connection 5 does 1000 inserts
如果不使用鎖定,2、3和4將在1和5前完成。如果使用鎖定,2、3和4將可能不在1或5前完成,但是整體時(shí)間應(yīng)該快大約40%。
INSERT、UPDATE和DELETE操作在MySQL中是很快的,通過為在一行中多于大約5次連續(xù)不斷地插入或更新的操作加鎖,可以獲得更好的整體性能。如果在一行中進(jìn)行多次插入,可以執(zhí)行LOCK TABLES,隨后立即執(zhí)行UNLOCK TABLES(大約每1000行)以允許其它的線程訪問表。這也會獲得好的性能。
INSERT裝載數(shù)據(jù)比LOAD DATA INFILE要慢得多,即使是使用上述的策略。
為了對LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通過增加key_buffer_size系統(tǒng)變量來擴(kuò)大 鍵高速緩沖區(qū)。
INSERT語法
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name [(col_name,...)]
VALUES ({expr | DEFAULT},...),(...),...
[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
或:
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
SET col_name={expr | DEFAULT}, ...
[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
或:
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name [(col_name,...)]
SELECT ...
[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
一、DELAYED 的使用
使用延遲插入操作DELAYED調(diào)節(jié)符應(yīng)用于INSERT和REPLACE語句。當(dāng)DELAYED插入操作到達(dá)的時(shí)候,服務(wù)器把數(shù)據(jù)行放入一個(gè)隊(duì)列中,并立即給客戶端返回一個(gè)狀態(tài)信息,這樣客戶端就可以在數(shù)據(jù)表被真正地插入記錄之前繼續(xù)進(jìn)行操作了。如果讀取者從該數(shù)據(jù)表中讀取數(shù)據(jù),隊(duì)列中的數(shù)據(jù)就會被保持著,直到?jīng)]有讀取者為止。
接著服務(wù)器開始插入延遲數(shù)據(jù)行(delayed-row)隊(duì)列中的數(shù)據(jù)行。在插入操作的同時(shí),服務(wù)器還要檢查是否有新的讀取請求到達(dá)和等待。如果有,延遲數(shù)據(jù)行隊(duì)列就被掛起,允許讀取者繼續(xù)操作。當(dāng)沒有讀取者的時(shí)候,服務(wù)器再次開始插入延遲的數(shù)據(jù)行。這個(gè)過程一直進(jìn)行,直到隊(duì)列空了為止。
幾點(diǎn)要注意事項(xiàng):
INSERT DELAYED應(yīng)該僅用于指定值清單的INSERT語句。服務(wù)器忽略用于INSERT DELAYED...SELECT語句的DELAYED。服務(wù)器忽略用于INSERT DELAYED...ON DUPLICATE UPDATE語句的DELAYED。
因?yàn)樵谛斜徊迦肭?,語句立刻返回,所以您不能使用LAST_INSERT_ID()來獲取AUTO_INCREMENT值。AUTO_INCREMENT值可能由語句生成。
對于SELECT語句,DELAYED行不可見,直到這些行確實(shí)被插入了為止。
DELAYED在從屬復(fù)制服務(wù)器中被忽略了,因?yàn)镈ELAYED不會在從屬服務(wù)器中產(chǎn)生與主服務(wù)器不一樣的數(shù)據(jù)。注意,目前在隊(duì)列中的各行只保存在存儲器中,直到它們被插入到表中為止。這意味著,如果您強(qiáng)行中止了mysqld(例如,使用kill -9)或者如果mysqld意外停止,則所有沒有被寫入磁盤的行都會丟失。
復(fù)制代碼 代碼如下:
Connection 1 does 1000 inserts
Connections 2, 3, and 4 do 1 insert
Connection 5 does 1000 inserts
如果不使用鎖定,2、3和4將在1和5前完成。如果使用鎖定,2、3和4將可能不在1或5前完成,但是整體時(shí)間應(yīng)該快大約40%。
INSERT、UPDATE和DELETE操作在MySQL中是很快的,通過為在一行中多于大約5次連續(xù)不斷地插入或更新的操作加鎖,可以獲得更好的整體性能。如果在一行中進(jìn)行多次插入,可以執(zhí)行LOCK TABLES,隨后立即執(zhí)行UNLOCK TABLES(大約每1000行)以允許其它的線程訪問表。這也會獲得好的性能。
INSERT裝載數(shù)據(jù)比LOAD DATA INFILE要慢得多,即使是使用上述的策略。
為了對LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通過增加key_buffer_size系統(tǒng)變量來擴(kuò)大 鍵高速緩沖區(qū)。
INSERT語法
復(fù)制代碼 代碼如下:
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name [(col_name,...)]
VALUES ({expr | DEFAULT},...),(...),...
[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
或:
復(fù)制代碼 代碼如下:
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
SET col_name={expr | DEFAULT}, ...
[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
或:
復(fù)制代碼 代碼如下:
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name [(col_name,...)]
SELECT ...
[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]
一、DELAYED 的使用
使用延遲插入操作DELAYED調(diào)節(jié)符應(yīng)用于INSERT和REPLACE語句。當(dāng)DELAYED插入操作到達(dá)的時(shí)候,服務(wù)器把數(shù)據(jù)行放入一個(gè)隊(duì)列中,并立即給客戶端返回一個(gè)狀態(tài)信息,這樣客戶端就可以在數(shù)據(jù)表被真正地插入記錄之前繼續(xù)進(jìn)行操作了。如果讀取者從該數(shù)據(jù)表中讀取數(shù)據(jù),隊(duì)列中的數(shù)據(jù)就會被保持著,直到?jīng)]有讀取者為止。
接著服務(wù)器開始插入延遲數(shù)據(jù)行(delayed-row)隊(duì)列中的數(shù)據(jù)行。在插入操作的同時(shí),服務(wù)器還要檢查是否有新的讀取請求到達(dá)和等待。如果有,延遲數(shù)據(jù)行隊(duì)列就被掛起,允許讀取者繼續(xù)操作。當(dāng)沒有讀取者的時(shí)候,服務(wù)器再次開始插入延遲的數(shù)據(jù)行。這個(gè)過程一直進(jìn)行,直到隊(duì)列空了為止。
幾點(diǎn)要注意事項(xiàng):
INSERT DELAYED應(yīng)該僅用于指定值清單的INSERT語句。服務(wù)器忽略用于INSERT DELAYED...SELECT語句的DELAYED。服務(wù)器忽略用于INSERT DELAYED...ON DUPLICATE UPDATE語句的DELAYED。
因?yàn)樵谛斜徊迦肭?,語句立刻返回,所以您不能使用LAST_INSERT_ID()來獲取AUTO_INCREMENT值。AUTO_INCREMENT值可能由語句生成。
對于SELECT語句,DELAYED行不可見,直到這些行確實(shí)被插入了為止。
DELAYED在從屬復(fù)制服務(wù)器中被忽略了,因?yàn)镈ELAYED不會在從屬服務(wù)器中產(chǎn)生與主服務(wù)器不一樣的數(shù)據(jù)。注意,目前在隊(duì)列中的各行只保存在存儲器中,直到它們被插入到表中為止。這意味著,如果您強(qiáng)行中止了mysqld(例如,使用kill -9)或者如果mysqld意外停止,則所有沒有被寫入磁盤的行都會丟失。
您可能感興趣的文章:
- MYSQL開發(fā)性能研究之批量插入數(shù)據(jù)的優(yōu)化方法
- MySql批量插入優(yōu)化Sql執(zhí)行效率實(shí)例詳解
- mysql如何優(yōu)化插入記錄速度
- MySQL實(shí)現(xiàn)批量插入以優(yōu)化性能的教程
- 解析優(yōu)化MySQL插入方法的五個(gè)妙招
- 深入mysql并發(fā)插入優(yōu)化詳解
- mysql 數(shù)據(jù)插入優(yōu)化方法
- MySql中把一個(gè)表的數(shù)據(jù)插入到另一個(gè)表中的實(shí)現(xiàn)代碼
- mysql中迅速插入百萬條測試數(shù)據(jù)的方法
- MySQL批量SQL插入性能優(yōu)化詳解
相關(guān)文章
解決mysql服務(wù)器在無操作超時(shí)主動斷開連接的情況
這篇文章主要介紹了解決mysql服務(wù)器在無操作超時(shí)主動斷開連接的情況,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07Mysql5.7.14安裝配置方法操作圖文教程(密碼問題解決辦法)
本篇文章主要涉及mysql5.7.14用以往的安裝方法安裝存在的密碼登錄不上,密碼失效等問題的解決辦法,需要的朋友參考下吧2017-01-01zabbix監(jiān)控MySQL主從狀態(tài)的方法詳解
這篇文章主要介紹了zabbix--監(jiān)控MySQL主從狀態(tài)的方法,本文圖文并茂給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下2019-06-06Windows10系統(tǒng)下Mysql8.0.13忘記root密碼的操作方法
這篇文章主要給大家介紹了關(guān)于Windows10系統(tǒng)下Mysql8.0.13忘記root密碼的操作方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01