[發(fā)明專利]支持接口適配的海量多源異構(gòu)數(shù)據(jù)ETL方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810588231.7
• 申請(qǐng)日: 2018-06-08
• 公開（公告）號(hào): CN108846076A
• 公開（公告）日: 2018-11-20
• 發(fā)明（設(shè)計(jì)）人: 史玉良;王新軍;張暉;管永明;呂梁;劉智勇
• 申請(qǐng)（專利權(quán)）人: 山大地緯軟件股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

本發(fā)明公開了支持接口適配的海量多源異構(gòu)數(shù)據(jù)ETL方法及系統(tǒng)。包括：數(shù)據(jù)抽取步驟，設(shè)置數(shù)據(jù)源和目標(biāo)數(shù)據(jù)庫(kù)的基本信息，為不同數(shù)據(jù)源自適應(yīng)地匹配相應(yīng)的ETL工具，并對(duì)ETL工具進(jìn)行參數(shù)設(shè)置；數(shù)據(jù)轉(zhuǎn)換步驟，完成ETL作業(yè)控制執(zhí)行和調(diào)度管理，對(duì)所抽取的數(shù)據(jù)進(jìn)行緩沖存儲(chǔ)和管理，并完成數(shù)據(jù)的清洗和轉(zhuǎn)換等處理；數(shù)據(jù)加載步驟，將經(jīng)過(guò)轉(zhuǎn)換后的數(shù)據(jù)對(duì)象進(jìn)行質(zhì)量檢查，并按照數(shù)據(jù)模型定義的表結(jié)構(gòu)輸出，將核查無(wú)誤后的數(shù)據(jù)更新加載至目標(biāo)數(shù)據(jù)庫(kù)中；數(shù)據(jù)監(jiān)控步驟，對(duì)ETL作業(yè)執(zhí)行過(guò)程、作業(yè)資源使用情況及系統(tǒng)運(yùn)行情況進(jìn)行監(jiān)控管理。自適應(yīng)地匹配合適的ETL工具，并實(shí)現(xiàn)海量數(shù)據(jù)的抽取與轉(zhuǎn)換，實(shí)現(xiàn)ETL作業(yè)的高效執(zhí)行和有序管理。

技術(shù)領(lǐng)域

本發(fā)明涉及ETL管理領(lǐng)域，特別涉及一種支持接口適配的海量多源異構(gòu)數(shù)據(jù)ETL方法及系統(tǒng)。

背景技術(shù)

目前行業(yè)積累了大量數(shù)據(jù)，數(shù)據(jù)的容量、種類和變化都在急劇增加，但大數(shù)據(jù)尚未充分利用，其中蘊(yùn)藏的巨大價(jià)值有待挖掘。大數(shù)據(jù)往往具有多源異構(gòu)特性，來(lái)自不同的、分散的業(yè)務(wù)系統(tǒng)，存在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等多種類型，難以抽取并轉(zhuǎn)換成所需的數(shù)據(jù)。在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)呈現(xiàn)出大容量、多樣式、交互頻繁等特征，隨著采集數(shù)據(jù)的不斷增加，數(shù)據(jù)處理邏輯逐漸復(fù)雜，并且面臨著海量多源異構(gòu)數(shù)據(jù)在不同數(shù)據(jù)庫(kù)之間傳輸效率問題。

傳統(tǒng)的ETL工具價(jià)格昂貴，對(duì)具體的業(yè)務(wù)依賴性很高，且為集中式架構(gòu)，即設(shè)計(jì)、運(yùn)行管理都集中在一臺(tái)服務(wù)器上，對(duì)硬件的要求非常高。在傳統(tǒng)ETL管理模式下，一般根據(jù)源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)的屬性，人工判定ETL工具，并設(shè)置ETL任務(wù)流程、設(shè)置參數(shù)、啟動(dòng)任務(wù)，此種人工ETL管理模式流程復(fù)雜，消耗大量的人力和時(shí)間，且無(wú)法滿足海量多源異構(gòu)數(shù)據(jù)的ETL作業(yè)需求。因此需要探索在大數(shù)據(jù)環(huán)境下能夠更經(jīng)濟(jì)、更高效地執(zhí)行ETL(抽取、轉(zhuǎn)換、加載)操作的裝置。

發(fā)明內(nèi)容

本發(fā)明的目的就是為解決上述問題，提出了一種支持接口適配的海量多源異構(gòu)數(shù)據(jù)ETL方法及系統(tǒng)，針對(duì)來(lái)自不同、分散的系統(tǒng)的海量多源異構(gòu)數(shù)據(jù)，基于接口適配器和ETL工具引擎自適應(yīng)地選擇合適的ETL工具，并基于HDFS、MapReduce、Spark等大數(shù)據(jù)處理技術(shù)實(shí)現(xiàn)ETL作業(yè)調(diào)度管理與高效執(zhí)行，以及海量復(fù)雜數(shù)據(jù)的集中存儲(chǔ)與處理轉(zhuǎn)換。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

作為本發(fā)明的第一方面，提供了支持接口適配的海量多源異構(gòu)數(shù)據(jù)ETL方法；

支持接口適配的海量多源異構(gòu)數(shù)據(jù)ETL方法，包括：

數(shù)據(jù)抽取步驟，設(shè)置數(shù)據(jù)源和目標(biāo)數(shù)據(jù)庫(kù)的基本信息，為不同數(shù)據(jù)源自適應(yīng)地匹配相應(yīng)的ETL工具，并對(duì)ETL工具進(jìn)行參數(shù)設(shè)置；通過(guò)數(shù)據(jù)庫(kù)接口、日志文件接口或流數(shù)據(jù)接口抽取不同的數(shù)據(jù)源；

數(shù)據(jù)轉(zhuǎn)換步驟，基于MapReduce及Spark計(jì)算框架完成ETL作業(yè)控制執(zhí)行和調(diào)度管理，基于HDFS、Hive或HBase對(duì)所抽取的數(shù)據(jù)進(jìn)行緩沖存儲(chǔ)和管理，并完成數(shù)據(jù)的清洗和轉(zhuǎn)換；

數(shù)據(jù)加載步驟，將經(jīng)過(guò)轉(zhuǎn)換后的數(shù)據(jù)對(duì)象進(jìn)行質(zhì)量檢查，并按照數(shù)據(jù)模型定義的表結(jié)構(gòu)輸出，將核查無(wú)誤后的數(shù)據(jù)更新加載至目標(biāo)數(shù)據(jù)庫(kù)中；

監(jiān)控管理步驟，對(duì)ETL作業(yè)執(zhí)行過(guò)程、作業(yè)資源使用情況及系統(tǒng)運(yùn)行情況進(jìn)行監(jiān)控管理。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述數(shù)據(jù)抽取步驟，包括：

設(shè)置數(shù)據(jù)源及目標(biāo)庫(kù)子步驟，設(shè)置數(shù)據(jù)源和目標(biāo)數(shù)據(jù)庫(kù)的基本信息，包括：數(shù)據(jù)庫(kù)類型、數(shù)據(jù)源與目標(biāo)數(shù)據(jù)庫(kù)之間的連接類型、數(shù)據(jù)庫(kù)IP、數(shù)據(jù)庫(kù)名稱、端口、用戶名、密碼；

自適應(yīng)匹配ETL工具子步驟，為不同的數(shù)據(jù)源自適應(yīng)的匹配對(duì)應(yīng)的ETL工具。