[發(fā)明專利]多源異構(gòu)數(shù)據(jù)備份方法及裝置

在審

• 申請?zhí)枺?/td>: 202110709884.8
• 申請日: 2021-06-25
• 公開（公告）號: CN113448775A
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 陽兵;沈贇;林丹;陽萬里
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞;王濤

本說明書涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地公開了一種多源異構(gòu)數(shù)據(jù)備份方法及裝置，其中，該裝置包括接入層、任務(wù)管理模塊、數(shù)據(jù)歸集模塊、登錄管理模塊和數(shù)據(jù)導(dǎo)出模塊；接入層接收備份任務(wù)請求，將其路由至任務(wù)管理模塊；任務(wù)管理模塊生成任務(wù)信息，進(jìn)行任務(wù)調(diào)度執(zhí)行，調(diào)用數(shù)據(jù)歸集模塊進(jìn)行數(shù)據(jù)歸集，調(diào)用數(shù)據(jù)導(dǎo)出模塊進(jìn)行數(shù)據(jù)導(dǎo)出；數(shù)據(jù)歸集模塊調(diào)用登錄管理模塊登錄對應(yīng)的數(shù)據(jù)源，根據(jù)任務(wù)信息生成臨時(shí)表，將數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時(shí)表中，生成數(shù)據(jù)歸集文件清單；登錄管理模塊根據(jù)映射表登錄各數(shù)據(jù)源標(biāo)識對應(yīng)的數(shù)據(jù)源；數(shù)據(jù)導(dǎo)出模塊根據(jù)數(shù)據(jù)歸集文件清單導(dǎo)出數(shù)據(jù)，將數(shù)據(jù)拷貝至目標(biāo)服務(wù)器。上述裝置實(shí)現(xiàn)對多源異構(gòu)數(shù)據(jù)的高效準(zhǔn)確的自動(dòng)化備份。

技術(shù)領(lǐng)域

本說明書涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種多源異構(gòu)數(shù)據(jù)備份方法及裝置。

背景技術(shù)

近年來，大數(shù)據(jù)領(lǐng)域蓬勃發(fā)展，越來越多企業(yè)，特別是中大型企業(yè)，出于成本、數(shù)據(jù)管理和數(shù)據(jù)產(chǎn)出的考慮，往往會建設(shè)數(shù)據(jù)中心進(jìn)行數(shù)據(jù)集中管理。又由于對時(shí)效性要求的不同，形成不同引擎類型的多源異構(gòu)數(shù)據(jù)源體系，再者，數(shù)據(jù)歸屬不同的應(yīng)用，不同應(yīng)用可能具有不同的用戶體系。企業(yè)各研發(fā)單位在產(chǎn)品研發(fā)階段又有生產(chǎn)環(huán)境跨源跨應(yīng)用關(guān)聯(lián)數(shù)據(jù)本地備份的需求，需要解決用戶體系和數(shù)據(jù)源隔離的問題。

目前，普遍方法是分別使用不同用戶體系賬戶從不同數(shù)據(jù)源先下載數(shù)據(jù)到本地，并經(jīng)過處理后導(dǎo)入相同數(shù)據(jù)源中進(jìn)行關(guān)聯(lián)得到最終結(jié)果。然而，這種方法沒有實(shí)現(xiàn)完全自動(dòng)化，效率低。

針對上述問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本說明書實(shí)施例提供了一種多源異構(gòu)數(shù)據(jù)備份方法及裝置，以解決現(xiàn)有技術(shù)中源跨應(yīng)用關(guān)聯(lián)數(shù)據(jù)本地備份效率低的問題。

本說明書實(shí)施例提供了一種多源異構(gòu)數(shù)據(jù)備份裝置，包括：接入層、任務(wù)管理模塊、數(shù)據(jù)歸集模塊、登錄管理模塊和數(shù)據(jù)導(dǎo)出模塊；接入層用于接收備份任務(wù)請求，并將備份任務(wù)請求路由至任務(wù)管理模塊，其中，備份任務(wù)請求至少包括目標(biāo)賬戶和至少一個(gè)數(shù)據(jù)源標(biāo)識；任務(wù)管理模塊用于響應(yīng)于備份任務(wù)請求生成任務(wù)信息，并基于任務(wù)信息進(jìn)行任務(wù)調(diào)度執(zhí)行，調(diào)用數(shù)據(jù)歸集模塊進(jìn)行數(shù)據(jù)歸集，調(diào)用數(shù)據(jù)導(dǎo)出模塊進(jìn)行數(shù)據(jù)導(dǎo)出；數(shù)據(jù)歸集模塊用于調(diào)用登錄管理模塊登錄至少一個(gè)數(shù)據(jù)源標(biāo)識中各數(shù)據(jù)源標(biāo)識對應(yīng)的數(shù)據(jù)源，根據(jù)任務(wù)信息生成臨時(shí)表，將各數(shù)據(jù)源標(biāo)識對應(yīng)的數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時(shí)表中，并生成數(shù)據(jù)歸集文件清單；登錄管理模塊用于根據(jù)至少一個(gè)數(shù)據(jù)源標(biāo)識和預(yù)設(shè)映射表登錄各數(shù)據(jù)源標(biāo)識對應(yīng)的數(shù)據(jù)源，其中，預(yù)設(shè)映射表中記錄有目標(biāo)賬戶的登錄賬號與數(shù)據(jù)源標(biāo)識之間的映射關(guān)系；數(shù)據(jù)導(dǎo)出模塊用于調(diào)用登錄管理模塊登錄各數(shù)據(jù)源標(biāo)識對應(yīng)的數(shù)據(jù)源，根據(jù)數(shù)據(jù)歸集文件清單從各數(shù)據(jù)源標(biāo)識對應(yīng)的數(shù)據(jù)源導(dǎo)出對應(yīng)的數(shù)據(jù)，并將導(dǎo)出的數(shù)據(jù)拷貝至目標(biāo)賬戶對應(yīng)的目標(biāo)服務(wù)器進(jìn)行備份。

在一個(gè)實(shí)施例中，任務(wù)管理模塊具體用于：對備份任務(wù)請求中的參數(shù)進(jìn)行校驗(yàn)，在校驗(yàn)通過的情況下，響應(yīng)于備份任務(wù)請求生成任務(wù)信息。

在一個(gè)實(shí)施例中，任務(wù)管理模塊還具體用于：對任務(wù)信息進(jìn)行緩存，從緩存中讀取任務(wù)信息，將讀取到的任務(wù)信息提交至線程池開始執(zhí)行。

在一個(gè)實(shí)施例中，數(shù)據(jù)導(dǎo)出模塊還用于：在根據(jù)數(shù)據(jù)歸集文件清單從各數(shù)據(jù)源標(biāo)識對應(yīng)的數(shù)據(jù)源導(dǎo)出對應(yīng)的數(shù)據(jù)之后，確定是否需要對導(dǎo)出的數(shù)據(jù)進(jìn)行脫敏處理，在確定需要對導(dǎo)出的數(shù)據(jù)進(jìn)行脫敏處理的情況下，對導(dǎo)出的數(shù)據(jù)進(jìn)行脫敏處理。

在一個(gè)實(shí)施例中，該裝置還包括數(shù)據(jù)管理模塊，數(shù)據(jù)管理模塊用于基于current_user函數(shù)創(chuàng)建視圖以向用戶提供統(tǒng)一的訪問界面。

在一個(gè)實(shí)施例中，任務(wù)管理模塊用于根據(jù)數(shù)據(jù)歸集文件清單為數(shù)據(jù)導(dǎo)出模塊動(dòng)態(tài)分配系統(tǒng)資源。

在一個(gè)實(shí)施例中，數(shù)據(jù)歸集模塊具體用于根據(jù)任務(wù)信息生成臨時(shí)表創(chuàng)建及數(shù)據(jù)抽取的SQL語句，在調(diào)用登錄管理模塊登錄至少一個(gè)數(shù)據(jù)源標(biāo)識中各數(shù)據(jù)源標(biāo)識對應(yīng)的數(shù)據(jù)源之后，執(zhí)行SQL語句，以生成臨時(shí)表并將數(shù)據(jù)抽取到臨時(shí)表中。