Mysql存儲過程如何實現(xiàn)歷史數(shù)據(jù)遷移
Mysql遷移歷史數(shù)據(jù)
記錄一下工作中由于業(yè)務(wù)需要以及系統(tǒng)的數(shù)據(jù)庫模型變更,導(dǎo)致需要做一下歷史數(shù)據(jù)遷移的解決辦法
需求陳述
- 一共涉及到三張表,分別稱為A、B、C
- 歷史數(shù)據(jù)在表A中。
- A表中存的數(shù)據(jù)有兩部分,通過一個busi_reg_province_code 字段來區(qū)分
- 一部分插入到B表,一部分插入到C表(就是用busi_reg_province_code來區(qū)分的兩部分)
- 存入B中的部分,對于存入C中的部分是一對多的關(guān)系。(相當(dāng)于B是做個匯總,C是詳細(xì)情況)
- 存入B的要計算存入C的某一字段值的總和
其實就是將一張表中的數(shù)據(jù),拆分分別存入B和C中。但是B和C是一對多的關(guān)系。
心路歷程
Step1
- 說到數(shù)據(jù)遷移,第一想法就是通過
insert into select的語法形式來做數(shù)據(jù)遷移。 - 但是因為B是C數(shù)據(jù)的匯總,所以不免需要使用一些聚合函數(shù)做計算,還要分組。
- 嗯~想想就頭大。
- 嘗試著寫了一下以后,最后還是放棄了。(突然覺得自己對SQL是一無所知,菜的摳jio)
Step2
- 放棄了寫SQL,怎么辦呢?需求還得做。
- 那作為一名JAVA開發(fā),于是寫一個接口的想法誕生了。
- 整理一下思路,發(fā)現(xiàn)用JAVA寫,嗯~(會心一笑)還是很容易的。
- 畢竟java8的流式處理還是很方便的。但是就在這時,心里突然又覺得 emm~ 我這樣逃避好像也不好啊。
- 沒有長進(jìn)都,而且這個接口就調(diào)用一次,屬實是有點不合適。
- 所以覺得還是放棄JAVA方式。
Step3
- 既然還是用SQL語句來寫,但是什么
sum、count、group by、case when摻在一起又那么復(fù)雜又理不清,可咋辦呢? - 那只好 必應(yīng)一下。剛好查到了存儲結(jié)構(gòu)。
- 但是此時思想還是停留在
insert into select的階段,但是因為主鍵并不是自增的,這個主鍵的問題得解決。
整理一下問題:
- 主鍵非自增,所以怎么賦值?
- 需要計算總值的列怎么計算?
- 怎么能寫一個SQL把兩個表都插入完成?
上面這幾個問題一出現(xiàn),似乎已經(jīng)沒辦法再使用insert into select的形式了。
所以只能一個一個循環(huán)處理。那怎么循環(huán)呢?
這個時候就行到了游標(biāo)。可是這兩個東西,不管是觸發(fā)器,還是游標(biāo)這個技能都已經(jīng)封存已久,一點不記得了。所以重新學(xué)習(xí)一下
學(xué)習(xí)參考了一下這個文章。我覺得寫的還是蠻細(xì)致的
最終實現(xiàn)
下面是我最終寫完的存儲過程。用了游標(biāo)的嵌套
# --------------------------歷史數(shù)據(jù)遷移----------------------
# 刪除存儲過程
drop procedure if exists convertHistory;
# 創(chuàng)建一個存儲過程
create procedure convertHistory()
begin
# 定義一個主鍵
declare outerId bigint default (select min(RESOURCE_ID) from mkt_resource_conf);
# 定義查詢插入的列
declare caseName varchar(32);
declare gradeId varchar(32);
declare flowGrade bigint(10);
declare allocateNum bigint(10);
declare province varchar(8);
declare flowUnit varchar(4);
# 是否完成
declare done int default false;
# 創(chuàng)建游標(biāo)
declare orignData cursor for select CASE_NAME,
FLOW_GRADE,
GRADE_ID,
QUANTITY,
BUSI_REG_PROVINCE_CODE,
FLOW_UNIT
from prd_flow_info
where BUSI_REG_PROVINCE_CODE = '100';
# 指定游標(biāo)循環(huán)結(jié)束時的返回值
declare continue HANDLER FOR not found set done = true;
# 把初始值ID減一個數(shù)目
set outerId = outerId - 100;
# 先把之前遷移的刪掉
delete from mkt_resource_conf where REMARK = '歷史數(shù)據(jù)割接';
# 刪掉之前的
delete from mkt_resource_store_conf where REMARK = '歷史數(shù)據(jù)割接';
# 打開游標(biāo)
open orignData;
fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
while (not done) do
# 具體的業(yè)務(wù)邏輯
# 查詢的都是配置項,那么插入到配置表
# 配置項需要查詢一下該配置的總量
select sum(QUANTITY)
from prd_flow_info
where FLOW_GRADE = flowGrade
and BUSI_REG_PROVINCE_CODE = '99' into allocateNum;
# 1、2G 的流量直接做轉(zhuǎn)換,轉(zhuǎn)為MB
if flowUnit = 'G' then
set flowGrade = flowGrade * 1024;
end if;
insert into mkt_resource_conf
values (outerId, caseName, gradeId, flowGrade, allocateNum, allocateNum, 1, '沒什么說明', 'system', 'system', sysdate(),
'system', 'system',
sysdate(), '1', '歷史數(shù)據(jù)割接');
# 查詢門店的配置,并且插入到門店的配置信息表
# 這里就要寫一個嵌套的游標(biāo)了
begin
# 定義一個配置表的ID
declare storeConfId bigint default (select min(STORE_CONF_ID) from mkt_resource_store_conf);
declare storeCode varchar(32);
declare alloNum bigint(10);
declare usedNum bigint(10);
declare storeDone int default false;
declare storeName varchar(128);
# 定義游標(biāo)
declare storeData cursor for select store_code,QUANTITY,USE_NUM
from prd_flow_info
where GRADE_ID = gradeId
and BUSI_REG_PROVINCE_CODE = '99';
declare continue HANDLER FOR not found set storeDone = true;
# select gradeId;
set storeConfId = storeConfId - 100;
# 開始游標(biāo)了
open storeData;
fetch storeData into storeCode,alloNum,usedNum;
while (not storeDone) do
# 從表里查一下storeName,沒有就沒轍了
select STORE_NAME from mkt_resource_store_conf where STORE_CODE = storeCode limit 1 into storeName;
# 開始保存到門店配置表
insert into `mkt_resource_store_conf` (`store_conf_id`, `resource_id`, `store_code`, `STORE_NAME`,
`allocated_res_num`,
`used_res_num`,
`create_id`, `create_name`, `create_time`, `update_id`, `update_name`,
`update_time`,
`state`, `remark`)
values (storeConfId, outerId, storeCode, storeName, alloNum, usedNum, 'system', 'system', sysdate(), 'system',
'system',
sysdate(),
1, '歷史數(shù)據(jù)割接');
commit ;
# ID -1
set storeConfId = storeConfId - 1;
fetch storeData into storeCode,alloNum,usedNum;
end while;
# 重置變量
set storeDone = false;
# 關(guān)閉內(nèi)層游標(biāo)
close storeData;
end;
# 把初始值ID減一
set outerId = outerId - 1;
fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
end while;
# 關(guān)閉游標(biāo)
close orignData;
SELECT * FROM mkt_resource_conf where REMARK = '歷史數(shù)據(jù)割接';
SELECT * FROM mkt_resource_store_conf where REMARK = '歷史數(shù)據(jù)割接';
end;
call convertHistory();
總結(jié)
沒開始的時候覺得會很難,但是真的邊學(xué)邊寫的時候,心情就會逐漸轉(zhuǎn)變。萬事開頭難說的不錯,一旦開始獲得正向反饋,問題也就慢慢的迎刃而解了。
其實這個寫的并不復(fù)雜,只是代碼比較長。
總結(jié)一下:
- 首先要克服自己的心里恐懼
- 定義存儲過程的語法
declare procedure - 了解游標(biāo)及存儲過程的使用場景
- 定義游標(biāo)的過程
declare 游標(biāo)名 cursor for (select 語句) - 打開游標(biāo)
open 游標(biāo)名關(guān)閉游標(biāo)close 游標(biāo)名 - 將游標(biāo)中查詢的字段事先定義好,然后通過
fetch 游標(biāo)名 into 事先定義的變量來獲得每一條數(shù)據(jù)(有點像ES6的generator,走一步踢一腳) - 變量賦值
select xxx into 變量和set xxx = 變量值 - 其他的就是條件控制語句loop 、while、if、else等
總的來說掌握基本語法,或者看一眼別人的格式,就可以模仿出來了。
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Window系統(tǒng)下自動備份MySql數(shù)據(jù)庫方法
Window下可以使用Bat批處理文件來對MySql進(jìn)行備份操作,備份時一般數(shù)據(jù)量較大的情況可以使用復(fù)制文件的方式,但是這種方式要求服務(wù)器停機或者停止寫入命令,不大使用2012-11-11
關(guān)于MySQL數(shù)據(jù)遷移--data目錄直接替換注意事項的詳解
本篇文章是對關(guān)于MySQL數(shù)據(jù)遷移--data目錄直接替換的注意事項進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06
提升MySQL查詢效率及查詢速度優(yōu)化的四個方法詳析
查詢語句的優(yōu)化是提高M(jìn)ySQL查詢速度的重要方法,可以通過使用JOIN語句、子查詢、優(yōu)化where子句等方式來減少查詢的時間,下面這篇文章主要給大家介紹了關(guān)于提升MySQL查詢效率及查詢速度優(yōu)化的四個方法,需要的朋友可以參考下2023-04-04
MySQL SELECT同時UPDATE同一張表問題發(fā)生及解決
例如用統(tǒng)計數(shù)據(jù)更新表的字段(此時需要用group子句返回統(tǒng)計值),從某一條記錄的字段update另一條記錄,而不必使用非標(biāo)準(zhǔn)的語句,等等感興趣的朋友可以參考下哈2013-03-03
MySQL學(xué)習(xí)之事務(wù)與并發(fā)控制
這篇文章主要介紹了MySQL中的事務(wù)與并發(fā)控制,一個事務(wù)可以理解為一組操作,這一組操作要么全部執(zhí)行,要么全部不執(zhí)行,想了解更多的小伙伴,可以參考閱讀本文2023-03-03

