[發(fā)明專利]多數(shù)據(jù)源數(shù)據(jù)庫接入方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110368434.7
• 申請(qǐng)日: 2021-04-06
• 公開（公告）號(hào): CN113111111A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 何文江;花福軍;周正斌;周陽
• 申請(qǐng)（專利權(quán)）人: 創(chuàng)意信息技術(shù)股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

1.多數(shù)據(jù)源數(shù)據(jù)庫接入方法，其特征在于，包括以下步驟：

獲取數(shù)據(jù)庫待接入數(shù)據(jù)，根據(jù)所述數(shù)據(jù)庫構(gòu)建所述數(shù)據(jù)庫對(duì)應(yīng)的設(shè)計(jì)器和執(zhí)行器，以使所述設(shè)計(jì)器和執(zhí)行器滿足所述數(shù)據(jù)庫的數(shù)據(jù)增量及數(shù)據(jù)表的接入；

利用所述數(shù)據(jù)庫對(duì)應(yīng)的設(shè)計(jì)器，根據(jù)所述待接入數(shù)據(jù)配置接入信息和處理信息；

利用所述數(shù)據(jù)庫對(duì)應(yīng)的執(zhí)行器，根據(jù)所述配置接入信息和處理信息對(duì)所述數(shù)據(jù)庫待接入數(shù)據(jù)進(jìn)行數(shù)據(jù)讀取、數(shù)據(jù)處理和數(shù)據(jù)寫入。

2.如權(quán)利要求1所述的多數(shù)據(jù)源數(shù)據(jù)庫接入方法，其特征在于，所述獲取數(shù)據(jù)庫待接入數(shù)據(jù)，根據(jù)所述數(shù)據(jù)庫構(gòu)建所述數(shù)據(jù)庫對(duì)應(yīng)的設(shè)計(jì)器和執(zhí)行器，以使所述設(shè)計(jì)器和執(zhí)行器滿足所述數(shù)據(jù)庫的數(shù)據(jù)增量及數(shù)據(jù)表的接入步驟之前，還包括：

獲取數(shù)據(jù)庫待接入數(shù)據(jù)并識(shí)別所述數(shù)據(jù)庫類型；

調(diào)用數(shù)據(jù)類型適配器，利用所述數(shù)據(jù)類型適配器將所述數(shù)據(jù)庫待接入數(shù)據(jù)轉(zhuǎn)換為所需數(shù)據(jù)類型。

3.如權(quán)利要求2所述的多數(shù)據(jù)源數(shù)據(jù)庫接入方法，其特征在于，所述調(diào)用數(shù)據(jù)類型適配器，利用所述數(shù)據(jù)類型適配器將所述數(shù)據(jù)庫待接入數(shù)據(jù)轉(zhuǎn)換為所需數(shù)據(jù)類型步驟，具體包括：

利用所述數(shù)據(jù)類型適配器，將所述數(shù)據(jù)庫待接入數(shù)據(jù)在包括Oracle、萬里開源、DB2、Mysql、達(dá)夢(mèng)、HBase、Hive或人大金倉中的任意兩種類型之間進(jìn)行轉(zhuǎn)換。

4.如權(quán)利要求2所述的多數(shù)據(jù)源數(shù)據(jù)庫接入方法，其特征在于，所述獲取數(shù)據(jù)庫待接入數(shù)據(jù)，根據(jù)所述數(shù)據(jù)庫構(gòu)建所述數(shù)據(jù)庫對(duì)應(yīng)的設(shè)計(jì)器和執(zhí)行器，以使所述設(shè)計(jì)器和執(zhí)行器滿足所述數(shù)據(jù)庫的數(shù)據(jù)增量及數(shù)據(jù)表的接入步驟，具體包括：

構(gòu)建用以連接交互設(shè)備的設(shè)計(jì)器，以使所述設(shè)計(jì)器接收交互設(shè)備傳輸?shù)呐渲媒尤胄畔⒑吞幚硇畔ⅲ?/p>

構(gòu)建用以連接處理器和存儲(chǔ)器的執(zhí)行器，以使所述執(zhí)行器調(diào)用所述處理器和存儲(chǔ)器執(zhí)行數(shù)據(jù)接入。

5.如權(quán)利要求4所述的多數(shù)據(jù)源數(shù)據(jù)庫接入方法，其特征在于，所述利用所述數(shù)據(jù)庫對(duì)應(yīng)的設(shè)計(jì)器，根據(jù)所述待接入數(shù)據(jù)配置接入信息和處理信息步驟，具體包括：

利用交互設(shè)備提供的可視化配置界面，通過可視化配置節(jié)點(diǎn)的自定義拖拉拽，配置所述數(shù)據(jù)庫接入過程中的數(shù)據(jù)輸入、數(shù)據(jù)處理和數(shù)據(jù)輸出方式；

利用交互設(shè)備提供的申請(qǐng)單錄入界面，通過填寫申請(qǐng)單配置來源數(shù)據(jù)源、目標(biāo)數(shù)據(jù)源和來源數(shù)據(jù)與目標(biāo)數(shù)據(jù)的對(duì)應(yīng)關(guān)系。

6.如權(quán)利要求5所述的多數(shù)據(jù)源數(shù)據(jù)庫接入方法，其特征在于，所述利用所述數(shù)據(jù)庫對(duì)應(yīng)的執(zhí)行器，根據(jù)所述配置接入信息和處理信息對(duì)所述數(shù)據(jù)庫待接入數(shù)據(jù)進(jìn)行數(shù)據(jù)讀取、數(shù)據(jù)處理和數(shù)據(jù)寫入步驟，具體包括：

采用可視化配置界面的后端執(zhí)行器，對(duì)接入數(shù)據(jù)進(jìn)行分批讀取和處理，將處理后的數(shù)據(jù)輸出；

采用默認(rèn)執(zhí)行器，并通過Kafka消息隊(duì)列和分布式部署對(duì)待接入數(shù)據(jù)快速接入并進(jìn)行讀寫分離，將處理后的數(shù)據(jù)輸出；

采用個(gè)性化擴(kuò)展執(zhí)行器，對(duì)接入數(shù)據(jù)中的定制數(shù)據(jù)按其預(yù)設(shè)邏輯進(jìn)行處理，進(jìn)而將數(shù)據(jù)封裝并寫入Kafka隊(duì)列后輸出。

7.多數(shù)據(jù)源數(shù)據(jù)庫接入裝置，其特征在于，所述多數(shù)據(jù)源數(shù)據(jù)庫接入裝置包括：

構(gòu)建模塊，用于獲取數(shù)據(jù)庫待接入數(shù)據(jù)，根據(jù)所述數(shù)據(jù)庫構(gòu)建所述數(shù)據(jù)庫對(duì)應(yīng)的設(shè)計(jì)器和執(zhí)行器，以使所述設(shè)計(jì)器和執(zhí)行器滿足所述數(shù)據(jù)庫的數(shù)據(jù)增量及數(shù)據(jù)表的接入；

配置模塊，用于利用所述數(shù)據(jù)庫對(duì)應(yīng)的設(shè)計(jì)器，根據(jù)所述待接入數(shù)據(jù)配置接入信息和處理信息；

執(zhí)行模塊，用于利用所述數(shù)據(jù)庫對(duì)應(yīng)的執(zhí)行器，根據(jù)所述配置接入信息和處理信息對(duì)所述數(shù)據(jù)庫待接入數(shù)據(jù)進(jìn)行數(shù)據(jù)讀取、數(shù)據(jù)處理和數(shù)據(jù)寫入。

8.多數(shù)據(jù)源數(shù)據(jù)庫接入設(shè)備，其特征在于，所述多數(shù)據(jù)源數(shù)據(jù)庫接入設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的多數(shù)據(jù)源數(shù)據(jù)庫接入程序，所述多數(shù)據(jù)源數(shù)據(jù)庫接入程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的多數(shù)據(jù)源數(shù)據(jù)庫接入方法的步驟。

9.存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有多數(shù)據(jù)源數(shù)據(jù)庫接入程序，所述多數(shù)據(jù)源數(shù)據(jù)庫接入程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的多數(shù)據(jù)源數(shù)據(jù)庫接入方法的步驟。