ETL數(shù)據(jù)增量抽取方案內(nèi)容節(jié)選

ETL 簡(jiǎn)介
數(shù)據(jù)集成是把不同來(lái)源、格式和特點(diǎn)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，從而提供全面的數(shù)據(jù)共享，是企業(yè)商務(wù)智能、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的重要組成部分。ETL 是企業(yè)數(shù)據(jù)集成的主要解決方案。

隨著信息化建設(shè)的發(fā)展，巨大的投資為公安行業(yè)建立了眾多的信息系統(tǒng)，以幫助公安進(jìn)行內(nèi)外部業(yè)務(wù)的處理和管理工作，但是隨著信息系統(tǒng)的增加，各自孤立工作的信息系統(tǒng)將會(huì)造成大量的冗余數(shù)據(jù)和業(yè)務(wù)人員的重復(fù)勞動(dòng)。數(shù)據(jù)集成是公安應(yīng)用集成的重要環(huán)節(jié)，實(shí)現(xiàn)數(shù)據(jù)集成，可以使更多的人更充分地使用已有數(shù)據(jù)資源，減少資料收集、數(shù)據(jù)采集等重復(fù)勞動(dòng)和相應(yīng)費(fèi)用。

但是，在實(shí)施數(shù)據(jù)集成的過(guò)程中，由于不同用戶提供的數(shù)據(jù)可能來(lái)自不同的途徑，其數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬(wàn)別，有時(shí)甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問(wèn)題，嚴(yán)重阻礙了數(shù)據(jù)在各部門(mén)和各應(yīng)用系統(tǒng)中的流動(dòng)與共享。因此，如何對(duì)數(shù)據(jù)進(jìn)行有效的集成管理已成為增強(qiáng)公安戰(zhàn)斗力的必然選擇。ETL 是實(shí)現(xiàn)數(shù)據(jù)集成的主要技術(shù)。

ETL 中三個(gè)字母分別代表的是Extract、Transform、Load，即抽取、轉(zhuǎn)換、加載。

（1）數(shù)據(jù)抽取：從源數(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；

（2）數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對(duì)錯(cuò)誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工；

（3）數(shù)據(jù)加載：將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。ETL 作為構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)環(huán)節(jié)，負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。現(xiàn)在越來(lái)越多地將ETL 應(yīng)用于一般信息系統(tǒng)數(shù)據(jù)的遷移、交換和同步。