快捷導(dǎo)航

Shell腳本導(dǎo)入導(dǎo)出數(shù)據(jù)的項(xiàng)目示例

更新時(shí)間：2022年04月20日 10:43:18 作者：crysw

在工作中，很多場景都會(huì)涉及到數(shù)據(jù)的導(dǎo)入導(dǎo)出，本文就介紹一下使用Shell腳本導(dǎo)入導(dǎo)出數(shù)據(jù)的項(xiàng)目示例，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

1. 介紹

在工作中 , 很多場景都會(huì)涉及到db數(shù)據(jù)的導(dǎo)入導(dǎo)出, 為了不影響正常業(yè)務(wù), 一般會(huì)選擇在夜間交易訪問量小的時(shí)候定時(shí)任務(wù)跑批進(jìn)行數(shù)據(jù)的導(dǎo)入導(dǎo)出. 我們公司, 由于分為了不同區(qū)域的開發(fā)中心, 應(yīng)用系統(tǒng)也比較多, 所以業(yè)務(wù)相互關(guān)聯(lián)的各系統(tǒng)間的數(shù)據(jù)依賴, 我們是通過數(shù)據(jù)中臺(tái)做數(shù)據(jù)中轉(zhuǎn)的, 比如: A系統(tǒng)要做客戶信息的操作但自己沒有這部分信息, 客戶信息主要是B系統(tǒng)在維護(hù), 這時(shí)候A系統(tǒng)就需要用到B系統(tǒng)的數(shù)據(jù).

方案就是B系統(tǒng)將客戶信息數(shù)據(jù)資源發(fā)布到數(shù)據(jù)中臺(tái), 因?yàn)锳系統(tǒng)向數(shù)據(jù)中臺(tái)訂閱了B系統(tǒng)的客戶信息資源 , 數(shù)據(jù)中臺(tái)會(huì)將客戶信息資源轉(zhuǎn)發(fā)到A系統(tǒng)服務(wù)器的指定目錄, 最后A系統(tǒng)只需要開發(fā)shell腳本將資源文件中的數(shù)據(jù)導(dǎo)入本地?cái)?shù)據(jù)庫即可.

B系統(tǒng)需要A系統(tǒng)的業(yè)務(wù)數(shù)據(jù)也是一樣的道理, A系統(tǒng)只需要將業(yè)務(wù)數(shù)據(jù)資源發(fā)布到數(shù)據(jù)中臺(tái),(A系統(tǒng)開發(fā)腳本將db數(shù)據(jù)導(dǎo)出為數(shù)據(jù)文件發(fā)送給數(shù)據(jù)中臺(tái)), B系統(tǒng)訂閱A系統(tǒng)的資源, 由數(shù)據(jù)中臺(tái)做資源的轉(zhuǎn)發(fā).

下面主要是總結(jié)工作中用到的shell腳本如何實(shí)現(xiàn)db數(shù)據(jù)的導(dǎo)入和導(dǎo)出, 數(shù)據(jù)中臺(tái)是一個(gè)企業(yè)級(jí)數(shù)據(jù)交換服務(wù)平臺(tái), 這里就不詳細(xì)贅述了.

2. 導(dǎo)入數(shù)據(jù)到db2

將MY_CUSTOMER_INFO_[DATE].del文件數(shù)據(jù)導(dǎo)入MY_CUSTOMER_INFO表.

在這里插入圖片描述

3. 導(dǎo)出db2數(shù)據(jù)

將MY_CUSTOMER_INFO表的數(shù)據(jù)導(dǎo)出為MY_CUSTOMER_INFO_[DATE].del文件.

在這里插入圖片描述

導(dǎo)出數(shù)據(jù)也可以使用java程序先查詢數(shù)據(jù),然后通過IO流寫文件.

在這里插入圖片描述

4. 導(dǎo)入數(shù)據(jù)到mysql

將MY_CUSTOMER_INFO_[DATE].del文件數(shù)據(jù)導(dǎo)入MY_CUSTOMER_INFO表.

在這里插入圖片描述

導(dǎo)入數(shù)據(jù)部分, 如果null數(shù)據(jù)想使用空字符串替換, 可以使用NULLIF函數(shù)判斷后替換.

在這里插入圖片描述

5. 導(dǎo)出mysql數(shù)據(jù)

將MY_CUSTOMER_INFO表的數(shù)據(jù)導(dǎo)出為MY_CUSTOMER_INFO_[DATE].del文件.

在這里插入圖片描述

6. Java程序調(diào)用shell腳本

使用java.lang.Runtime類實(shí)現(xiàn)shell腳本的調(diào)用并執(zhí)行.

在這里插入圖片描述

7. 遇到的問題

(1) 上面Java程序調(diào)用并執(zhí)行shell腳本, 需要注意服務(wù)器系統(tǒng)類型是Linux還是AIX系統(tǒng), 不然傳入的參數(shù)無法接收到.

(2) windows環(huán)境(\r\n)和linux環(huán)境(\r)的換行符不一樣, 導(dǎo)致在windows系統(tǒng)編輯的shell腳本在Linux服務(wù)器上執(zhí)行報(bào)錯(cuò), 需要使用vim編輯器將\r\n替換為\r.

腳本格式設(shè)置, \r\n替換為\r.

:set ff=unix

腳本格式設(shè)置, \r替換為\r\n.

:set ff=dos

到此這篇關(guān)于Shell腳本導(dǎo)入導(dǎo)出數(shù)據(jù)的項(xiàng)目示例的文章就介紹到這了,更多相關(guān)Shell導(dǎo)入導(dǎo)出數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: