[發明專利]一種多數據源的數據集成處理方法和裝置

有效

• 申請號: 201210525979.5
• 申請日: 2012-12-07
• 公開（公告）號: CN103870455B
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 莊卓然;張俊;王蒙
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京潤澤恒知識產權代理有限公司11319
• 代理人: 趙娟

技術領域

本申請涉及網絡應用系統的技術領域，特別是涉及一種多數據源的數據集成處理方法，以及，一種多數據源的數據集成裝置。

背景技術

目前，隨著互聯網的高速發展，網絡應用系統呈現出高復雜性的特點。單一系統的功能實現不再僅僅依賴于一個數據源，隨著分布式思想在互聯網領域的廣泛應用，網絡應用系統可以支持不同的數據源，如網絡應用系統的遠程服務、數據庫直讀、數據倉庫等數據源。

與多數據源對應的應用場景隨之出現，一個典型的應用場景是：某一個數據項（目標數據項）的具體值依賴于其它N（N>1）個數據項的相互集成計算，并且這N個數據項分別來自不同的數據源。

現有技術中，基于多數據源的數據集成處理方法具體可以包括如下步驟：

步驟1、針對所需的數據項，根據業務場景從各數據源獲取相應的各數據，具體可以包括：向數據源A請求數據、向數據源B請求數據、向數據源C請求數據等等；

步驟2、將從各數據源獲取的各數據進行集成；

步驟3、根據業務場景對獲取的各數據進行數據集成處理（例如對各數據進行相加操作的等）；

步驟4、輸出數據集成處理結果。

由于上述方法流程是面向特定的業務場景的，如果業務場景發生變化，則需要修改步驟1-步驟4對應的計算機程序代碼，并在修改完成后重新發布；并且，隨著應用場景的增多，只能通過重新開發計算機程序代碼的方式來實現多數據源的數據集成處理，因此，現有技術中基于多數據源的數據集成處理方法增加了開發和維護的難度，嚴重影響了數據集成處理的效率。

總之，需要本領域技術人員迫切解決的一個技術問題就是：如何能夠降低多數據源的數據集成處理的開發和維護的難度，提高多數據源的數據集成處理的效率。

發明內容

本申請所要解決的技術問題是提供一種多數據源的數據集成處理方法，用以降低多數據源的數據集成處理的開發和維護的難度，提高多數據源的數據集成處理的效率。

相應的，本申請還提供了一種多數據源的數據集成處理裝置，用以保證上述方法在實際中的應用。

為了解決上述問題，本申請公開了一種多數據源的數據集成處理方法，包括：

獲得當前數據集成處理所需的目標數據項的信息；

依據預置的數據項與數據源的映射關系，按照所述目標數據項的信息從對應的多個數據源中分別提取相應的數據項，以形成目標數據項；

將所述目標數據項按照預置的目標數據項集成計算規則進行相應的集成計算。

優選地，所述數據項與數據源的映射關系預置在多數據源模型中，所述數據源為n個，所述n為大于1的正整數。

優選地，所述依據預置的數據項與數據源的映射關系，按照所述目標數據項的信息從對應的多個數據源中分別提取相應的數據項，以形成目標數據項的步驟包括：

將所述當前數據集成處理所需的目標數據項的信息輸入所述多數據源模型；

由所述多數據源模型依據預置的數據項與數據源的映射關系，獲得所述目標數據項的信息對應的多個數據源并輸出；

向所述多個數據源發起對應數據項的獲取請求；

接收所述多個數據源依據該請求返回的數據項，所述返回的數據項組成目標數據項。

優選地，所述目標數據項的集成計算規則預置在集成計算模型中。

優選地，所述將目標數據項按照預置的目標數據項集成計算規則進行相應的集成計算的步驟包括：

將所述目標數據項輸入所述集成計算模型；

由所述集成計算模型采用所述集成計算規則對所述目標數據項進行相應的集成計算，獲得集成計算結果并輸出。

優選地，所述目標數據項為多個數據項的集合，所述各個數據項分別來自不同的數據源。

本發明實施例還公開了一種多數據源的數據集成裝置，包括：

目標數據項信息獲取模塊，用于獲得當前數據集成處理所需的目標數據項的信息；

目標數據項提取模塊，用于依據預置的數據項與數據源的映射關系，按照所述目標數據項的信息從對應的多個數據源中分別提取相應的數據項，以形成目標數據項；

集成計算模塊，用于將所述目標數據項按照預置的目標數據項集成計算規則進行相應的集成計算。

優選地，所述裝置還包括：

所述數據項與數據源的映射關系預置在多數據源模型中，所述數據源為n個，所述n為大于1的正整數。

優選地，所述目標數據項提取模塊包括：