[發(fā)明專利]數據集成系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202110831812.0
• 申請日: 2021-07-22
• 公開（公告）號: CN113553329A
• 公開（公告）日: 2021-10-26
• 發(fā)明（設計）人: 趙宇;侯雪峰
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/28
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 祝樂芳

1.一種數據集成系統(tǒng)，其特征在于，包括：主節(jié)點和從節(jié)點；

所述主節(jié)點，用于將數據集成任務劃分為多個子數據集成任務，確定每個子數據集成任務對應的目標從節(jié)點，其中，所述數據集成任務用于指示將以第一數據結構存儲的第一數據源中的數據存儲至以第二數據結構存儲的第二數據源；所述多個子數據集成任務中的每個子數據集成任務用于指示將第一數據源中的目標數據存儲至第二數據源，所述第一數據源中的目標數據為所述第一數據源中的部分或者全部數據；分別向每個目標從節(jié)點發(fā)送所述目標從節(jié)點對應的子數據集成任務；

所述從節(jié)點，用于根據所述子數據集成任務，將所述第一數據源中的目標數據存儲至第二數據源。

2.根據權利要求1所述的系統(tǒng)，其特征在于，所述從節(jié)點具體用于：

獲取所述第一數據結構對應的讀取插件，通過所述第一數據結構對應的讀取插件獲取所述第一數據源中的目標數據，將所述第一數據源中的目標數據轉換為以第三數據結構存儲的目標數據，向核心模塊發(fā)送所述以第三數據結構存儲的目標數據；

獲取所述第二數據結構對應的寫入插件，通過所述第二數據結構對應的寫入插件從所述核心模塊獲取所述以第三數據結構存儲的目標數據，將所述以第三數據結構存儲的目標數據以所述第二數據結構寫入所述第二數據源。

3.根據權利要求2所述的系統(tǒng)，其特征在于，所述數據集成任務中包含：所述第一數據源的信息和所述第二數據源的信息，所述第一數據源的信息包括：所述第一數據源的地址信息和所述第一數據結構，所述第二數據源的信息包括：所述第二數據源的地址信息和所述第二數據結構；所述子數據集成任務中包含：所述第一數據源中的目標數據的信息和所述第二數據源的信息；所述第一數據源中的目標數據的信息包括：所述第一數據源中的目標數據的地址信息和所述第一數據結構；

所述從節(jié)點具體用于：

通過所述第一數據結構對應的讀取插件根據所述第一數據源中的目標數據的地址信息，獲取所述第一數據源中的目標數據；

通過所述第二數據結構對應的寫入插件根據所述第二數據源的地址，將所述以第三數據結構存儲的目標數據以所述第二數據結構寫入所述第二數據源。

4.根據權利要求2所述的系統(tǒng)，其特征在于，所述從節(jié)點具體用于：

通過所述核心模塊對所述以第三數據結構存儲的目標數據進行篩選，得到篩選后的以第三數據結構存儲的目標數據；

通過所述第二數據結構對應的寫入插件從所述核心模塊獲取所述篩選后的以第三數據結構存儲的目標數據，將所述篩選后的以第三數據結構存儲的目標數據以所述第二數據結構寫入所述第二數據源。

5.根據權利要求2-4任一項所述的系統(tǒng)，其特征在于，所述從節(jié)點具體用于：

向讀取插件服務器發(fā)送讀取插件獲取請求，所述讀取插件獲取請求中包含：所述第一數據結構；接收所述讀取插件服務器發(fā)送的讀取插件；

向寫入插件服務器發(fā)送寫入插件獲取請求，所述寫入插件獲取請求中包含：所述第二數據結構；接收所述寫入插件服務器發(fā)送的寫入插件。

6.根據權利要求2-4任一項所述的系統(tǒng)，其特征在于，所述主節(jié)點具體用于：

獲取所述第一數據結構對應的讀取插件，向所述目標從節(jié)點發(fā)送所述第一數據結構對應的讀取插件；獲取所述第二數據結構對應的寫入插件，向所述目標從節(jié)點發(fā)送所述第二數據結構對應的寫入插件。

7.根據權利要求4所述的系統(tǒng)，其特征在于，所述從節(jié)點具體用于：

通過所述核心模塊將篩選后的以第三數據結構存儲的目標數據存儲在內存中；

通過所述第二數據結構對應的寫入插件從內存中獲取所述篩選后的以第三數據結構存儲的目標數據。