[發(fā)明專利]數(shù)據(jù)集成系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202110831812.0
• 申請日: 2021-07-22
• 公開（公告）號: CN113553329A
• 公開（公告）日: 2021-10-26
• 發(fā)明（設計）人: 趙宇;侯雪峰
• 申請（專利權）人: 北京金山云網(wǎng)絡技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/28
• 代理公司: 北京開陽星知識產(chǎn)權代理有限公司 11710
• 代理人: 祝樂芳

本公開提供一種數(shù)據(jù)集成系統(tǒng)和方法。該系統(tǒng)包括：主節(jié)點和從節(jié)點；主節(jié)點，用于將數(shù)據(jù)集成任務劃分為多個子數(shù)據(jù)集成任務，確定每個子數(shù)據(jù)集成任務對應的目標從節(jié)點，其中，數(shù)據(jù)集成任務用于指示將以第一數(shù)據(jù)結構存儲的第一數(shù)據(jù)源中的數(shù)據(jù)存儲至以第二數(shù)據(jù)結構存儲的第二數(shù)據(jù)源；多個子數(shù)據(jù)集成任務中的每個子數(shù)據(jù)集成任務用于指示將第一數(shù)據(jù)源中的目標數(shù)據(jù)存儲至第二數(shù)據(jù)源，第一數(shù)據(jù)源中的目標數(shù)據(jù)為第一數(shù)據(jù)源中的部分或者全部數(shù)據(jù)；分別向每個目標從節(jié)點發(fā)送目標從節(jié)點對應的子數(shù)據(jù)集成任務；從節(jié)點，用于根據(jù)接收到主節(jié)點發(fā)送的子數(shù)據(jù)集成任務，將第一數(shù)據(jù)源中的目標數(shù)據(jù)存儲至第二數(shù)據(jù)源。提高了數(shù)據(jù)集成的效率。

技術領域

本公開涉及大數(shù)據(jù)技術領域，尤其涉及一種數(shù)據(jù)集成系統(tǒng)和方法。

背景技術

企業(yè)需要存儲的數(shù)據(jù)量越來越大，存儲數(shù)據(jù)的存儲介質(zhì)具有多種，例如，可以存儲在文件中、存在各種不同數(shù)據(jù)結構的數(shù)據(jù)庫中等。常常需要將多種存儲介質(zhì)的數(shù)據(jù)集成到一種存儲介質(zhì)中，也可以稱為異構數(shù)據(jù)源的數(shù)據(jù)集成，從而建立數(shù)據(jù)倉庫或者數(shù)據(jù)湖。

現(xiàn)有的異構數(shù)據(jù)源的數(shù)據(jù)集成過程采用單機方式實現(xiàn)，對于大規(guī)模數(shù)據(jù)的集成，效率不高。

發(fā)明內(nèi)容

為了解決上述數(shù)據(jù)集成效率不高的技術問題，本公開提供了一種數(shù)據(jù)集成系統(tǒng)和方法。

第一方面，本公開提供了一種數(shù)據(jù)集成系統(tǒng)，包括：主節(jié)點和從節(jié)點；

所述主節(jié)點，用于將數(shù)據(jù)集成任務劃分為多個子數(shù)據(jù)集成任務，確定每個子數(shù)據(jù)集成任務對應的目標從節(jié)點，其中，所述數(shù)據(jù)集成任務用于指示將以第一數(shù)據(jù)結構存儲的第一數(shù)據(jù)源中的數(shù)據(jù)存儲至以第二數(shù)據(jù)結構存儲的第二數(shù)據(jù)源；所述多個子數(shù)據(jù)集成任務中的每個子集成任務用于指示將第一數(shù)據(jù)源中的目標數(shù)據(jù)存儲至第二數(shù)據(jù)源，所述第一數(shù)據(jù)源中的目標數(shù)據(jù)為所述第一數(shù)據(jù)源中的部分或者全部數(shù)據(jù)；分別向每個目標從節(jié)點發(fā)送所述目標從節(jié)點對應的子數(shù)據(jù)集成任務；

所述從節(jié)點，用于根據(jù)所述子數(shù)據(jù)集成任務，將所述第一數(shù)據(jù)源中的目標數(shù)據(jù)存儲至第二數(shù)據(jù)源。

可選的，所述從節(jié)點具體用于：

獲取所述第一數(shù)據(jù)結構對應的讀取插件，通過所述第一數(shù)據(jù)結構對應的讀取插件獲取所述第一數(shù)據(jù)源中的目標數(shù)據(jù)，將所述第一數(shù)據(jù)源中的目標數(shù)據(jù)轉換為以第三數(shù)據(jù)結構存儲的目標數(shù)據(jù)，向核心模塊發(fā)送所述以第三數(shù)據(jù)結構存儲的目標數(shù)據(jù)；

獲取所述第二數(shù)據(jù)結構對應的寫入插件，通過所述第二數(shù)據(jù)結構對應的寫入插件從所述核心模塊獲取所述以第三數(shù)據(jù)結構存儲的目標數(shù)據(jù)，將所述以第三數(shù)據(jù)結構存儲的目標數(shù)據(jù)以所述第二數(shù)據(jù)結構寫入所述第二數(shù)據(jù)源。

可選的，所述數(shù)據(jù)集成任務中包含：所述第一數(shù)據(jù)源的信息和所述第二數(shù)據(jù)源的信息，所述第一數(shù)據(jù)源的信息包括：所述第一數(shù)據(jù)源的地址信息和所述第一數(shù)據(jù)結構，所述第二數(shù)據(jù)源的信息包括：所述第二數(shù)據(jù)源的地址信息和所述第二數(shù)據(jù)結構；所述子數(shù)據(jù)集成任務中包含：所述第一數(shù)據(jù)源中的目標數(shù)據(jù)的信息和所述第二數(shù)據(jù)源的信息；所述第一數(shù)據(jù)源中的目標數(shù)據(jù)的信息包括：所述第一數(shù)據(jù)源中的目標數(shù)據(jù)的地址信息和所述第一數(shù)據(jù)結構；

所述從節(jié)點具體用于：

通過所述第一數(shù)據(jù)結構對應的讀取插件根據(jù)所述第一數(shù)據(jù)源中的目標數(shù)據(jù)的地址信息，獲取所述第一數(shù)據(jù)源中的目標數(shù)據(jù)；

通過所述第二數(shù)據(jù)結構對應的寫入插件根據(jù)所述第二數(shù)據(jù)源的地址，將所述以第三數(shù)據(jù)結構存儲的目標數(shù)據(jù)以所述第二數(shù)據(jù)結構寫入所述第二數(shù)據(jù)源。

可選的，所述從節(jié)點具體用于：

通過所述核心模塊對所述以第三數(shù)據(jù)結構存儲的目標數(shù)據(jù)進行篩選，得到篩選后的以第三數(shù)據(jù)結構存儲的目標數(shù)據(jù)；