Mysql快速插入千萬(wàn)條數(shù)據(jù)的實(shí)戰(zhàn)教程
一.創(chuàng)建數(shù)據(jù)庫(kù)
二.創(chuàng)建表
1.創(chuàng)建 dept表
CREATE TABLE `dept` ( `id` int(11) NOT NULL, `deptno` mediumint(9) DEFAULT NULL, `dname` varchar(20) DEFAULT NULL, `loc` varchar(13) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
2.創(chuàng)建emp表
CREATE TABLE `emp` ( `id` int(11) NOT NULL, `empon` mediumint(9) DEFAULT NULL COMMENT '編號(hào)', `ename` varchar(20) DEFAULT NULL, `job` varchar(9) DEFAULT NULL, `mgr` mediumint(9) DEFAULT NULL COMMENT '上級(jí)編號(hào)', `hirdate` datetime DEFAULT NULL COMMENT '入職時(shí)間', `sal` decimal(7,2) DEFAULT NULL COMMENT '薪水', `comm` decimal(7,2) DEFAULT NULL COMMENT '紅利', `deptno` mediumint(9) DEFAULT NULL COMMENT '部門編號(hào)', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
三.設(shè)置參數(shù)
SHOW VARIABLES LIKE 'log_bin_trust_function_creators';
默認(rèn)關(guān)閉. 需要設(shè)置為1。因?yàn)楸碇性O(shè)置 mediumint 字段 創(chuàng)建函數(shù)可能會(huì)報(bào)錯(cuò)
SET GLOBAL log_bin_trust_function_creators=1;
四.創(chuàng)建函數(shù)
1.隨機(jī)產(chǎn)生字符串
DELIMITER $ CREATE FUNCTION RAND_STR(n INT) RETURNS VARCHAR(255) BEGIN DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwsyzABCDEFGHIJKLMNOPQRSTUVWXYZ'; DECLARE return_str VARCHAR(255) DEFAULT ''; DECLARE i INT DEFAULT 0; WHILE i< n DO SET return_str =COUCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1)); SET i= i+1; END WHILE; RETURN return_str; END $
2.隨機(jī)產(chǎn)生部門編號(hào)
DELIMITER $ CREATE FUNCTION RAND_num() RETURNS INT(5) BEGIN DECLARE i INT DEFAULT 0; SET i= FLOOR(100+RAND()*10); RETURN i; END $
五.創(chuàng)建存儲(chǔ)過(guò)程
1. emp表存儲(chǔ)過(guò)程
DELIMITER $ CREATE PROCEDURE insert_emp(IN START INT(10),IN max_num INT(10)) BEGIN DECLARE i INT DEFAULT 0; SET autocommit = 0; REPEAT #重復(fù) SET i = i + 1; INSERT INTO emp(empon,ename,job,mgr,hiredate,sal,comm,depton) VALUES ((START+i),RAND_STR(6),'SALESMAN',0001,CURDATE(),2000,400,RAND_num()); UNTIL i = max_num END REPEAT; COMMIT; END $
2.dept表存儲(chǔ)過(guò)程
DELIMITER $ CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10)) BEGIN DECLARE i INT DEFAULT 0; SET autocommit = 0; REPEAT #重復(fù) SET i = i + 1; INSERT INTO dept(deptno,dname,loc) VALUES ((START+i),RAND_STR(10),RAND_STR(8)); UNTIL i = max_num END REPEAT; COMMIT; END $
六.執(zhí)行
1.先執(zhí)行十條
這個(gè)錯(cuò)誤是一個(gè)小坑 發(fā)現(xiàn)了嗎 我之前留下的 根據(jù)提示 去排查吧
執(zhí)行成功!
2.查看數(shù)據(jù)
重頭戲來(lái)嘍! 一次性干他百萬(wàn)條數(shù)據(jù) 賭一把 看看會(huì)不會(huì)玩崩了
3.執(zhí)行百萬(wàn)插入
CALL insert_dept(10001,1000000);
400s跑百萬(wàn)數(shù)據(jù) 一秒2500條 我這配置太垃圾 以前測(cè)試的是一秒一萬(wàn) 最好50W跑一次
歐克 睡覺(jué)
總結(jié)
到此這篇關(guān)于Mysql快速插入千萬(wàn)條數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Mysql插入千萬(wàn)條數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- mysql大批量插入數(shù)據(jù)的4種方法示例
- mysql中迅速插入百萬(wàn)條測(cè)試數(shù)據(jù)的方法
- MySql中把一個(gè)表的數(shù)據(jù)插入到另一個(gè)表中的實(shí)現(xiàn)代碼
- 用一條mysql語(yǔ)句插入多條數(shù)據(jù)
- mysql如果數(shù)據(jù)不存在,則插入新數(shù)據(jù),否則更新的實(shí)現(xiàn)方法
- mysql中插入表數(shù)據(jù)中文亂碼問(wèn)題的解決方法
- mysql數(shù)據(jù)庫(kù)插入速度和讀取速度的調(diào)整記錄
- MYSQL批量插入數(shù)據(jù)的實(shí)現(xiàn)代碼
- mysql技巧:提高插入數(shù)據(jù)(添加記錄)的速度
- mysql 一次向表中插入多條數(shù)據(jù)實(shí)例講解
相關(guān)文章
MySQL數(shù)據(jù)庫(kù)配置信息查看與修改方法詳解
我們通常把在項(xiàng)目中使用的常量收集在一個(gè)文件,這個(gè)文件就是配置文件,下面這篇文章主要給大家介紹了關(guān)于MySQL數(shù)據(jù)庫(kù)配置信息查看與修改的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-06-06mysql 多個(gè)字段實(shí)現(xiàn)逗號(hào)拼接
在MySQL數(shù)據(jù)庫(kù)中,有時(shí)候我們需要將多個(gè)字段的值連接在一起,本文主要介紹了mysql 多個(gè)字段實(shí)現(xiàn)逗號(hào)拼接,具有一定的參考價(jià)值,感興趣的可以了解一下2024-01-01openEuler?RPM方式安裝MySQL8的實(shí)現(xiàn)
本文主要介紹了openEuler?RPM方式安裝MySQL8的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01通過(guò)DML更新MySQL數(shù)據(jù)庫(kù)數(shù)據(jù)的示例代碼
這篇文章主要給大家介紹了如何通過(guò)DML更新MySQL數(shù)據(jù)庫(kù)的數(shù)據(jù),通過(guò)DML來(lái)對(duì)數(shù)據(jù)庫(kù)種地表的數(shù)據(jù)記錄進(jìn)行增刪改查操作,文中給大家了詳細(xì)的代碼示例供大家參考,具有一定的參考價(jià)值,需要的朋友可以參考下2024-01-01Mysql 報(bào)Row size too large 65535 的原因及解決方法
這篇文章主要介紹了Mysql 報(bào)Row size too large 65535 的原因及解決方法 的相關(guān)資料,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下2016-06-06MySQL數(shù)據(jù)庫(kù)重命名的快速且安全方法(3種)
這篇文章主要介紹了MySQL數(shù)據(jù)庫(kù)重命名的快速且安全方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12