[發明專利]一種海量數據集成系統及方法

有效

• 申請號: 201310039925.2
• 申請日: 2013-01-31
• 公開（公告）號: CN103136336A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 蔡立晶;梁勇;王振峰
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

技術領域

本發明涉及數據庫技術領域，具體涉及一種海量數據集成系統及方法。

背景技術

隨著信息技術的不斷發展，信息量與日俱增，信息形式變得多種多樣，單一數據庫的數據存儲能力漸漸顯得力不從心。特別對于金融行業來說，當客戶數量和賬務數據達到上億規模后，更要求其數據集成系統具有良好的數據檢索和處理性能、穩定性、靈活性和易于擴展性。

在現有技術中，對海量數據的處理可以采用多數據庫集成系統，多數據庫系統將多個異構的數據庫系統集成起來，每一個數據庫系統在邏輯上自成體系，可以存儲遠遠超過單數據庫系統的數據量。但是，現有技術中，多數據庫系統中部分服務器的處理能力明顯不足需擴容，而部分服務器的處理能力又被閑置，存在應用服務器資源使用不均衡的問題。同時，當數據大量增加時，無法及時對多數據庫系統進行擴展，無法達到系統擴展性、靈活性和穩定性的要求。

發明內容

有鑒于此，本發明的主要目的是提供一種海量數據集成系統及方法，以解決現有技術中系統資源使用不均衡、不易于擴展的問題。

為解決上述問題，本發明提供的技術方案如下：

一種海量數據集成系統，所述系統包括：

若干個數據存儲裝置、數據轉換裝置、應用服務資源池、注冊裝置以及監控裝置；

所述數據存儲裝置，用于對數據進行存儲；

所述數據轉換裝置，用于將在一個所述數據存儲裝置內存儲的數據拆分為在多個所述數據存儲裝置內進行存儲，或者，將在多個所述數據存儲裝置內存儲的數據合并為在一個所述數據存儲裝置內進行存儲；

所述應用服務資源池中包括若干個應用服務器，所述應用服務器加載應用系統，并根據應用系統類型對所述應用服務器對應連接的所述數據存儲裝置內的數據進行處理；

注冊裝置，用于記錄所述數據存儲單元、所述應用服務器的地址，以及所述數據存儲單元與所述應用服務器的對應關系；

監控裝置，用于對所述應用服務資源池內的所述應用服務器進行監控，當所述應用服務器的性能指標大于第一閾值時，控制所述數據轉換裝置對數據進行拆分，并更改所述注冊裝置中記錄的所述數據存儲單元與所述應用服務器的對應關系；當所述應用服務器的性能指標小于第二閾值時，控制所述數據轉換裝置對數據進行合并，并更改所述注冊裝置中記錄的所述數據存儲單元與所述應用服務器的對應關系。

相應的，所述系統還包括：

服務分解裝置，用于對業務請求分解為多個業務子請求，確定所述業務子請求所需要的應用系統類型，將所述業務子請求發送至對應的應用服務器，以使所述對應服務器根據應用系統類型對所述應用服務器對應連接的所述數據存儲裝置內的數據進行處理。

相應的，所述系統還包括：

服務整合裝置，用于對不同所述應用服務器的處理結果進行整合，并將整合結果反饋給用戶。

相應的，所述系統還包括：

備份數據存儲裝置，用于對所述數據存儲裝置內存儲的數據進行備份。

相應的，所述數據轉換裝置包括：

數據拆分單元，用于根據預定鍵值，將在一個所述數據存儲裝置內存儲的數據拆分為在多個所述數據存儲裝置內進行存儲；

數據合并單元，用于根據預定鍵值，將在多個所述數據存儲裝置內存儲的數據合并為在一個所述數據存儲裝置內進行存儲。

一種海量數據集成方法，所述方法包括：

數據存儲裝置對數據進行存儲；

應用服務器根據應用系統類型對所述應用服務器對應連接的所述數據存儲裝置內的數據進行處理；

對所述應用服務器進行監控；

當所述應用服務器的性能指標大于第一閾值時，將在一個所述數據存儲裝置內存儲的數據拆分為在多個所述數據存儲裝置內進行存儲，并更改所述數據存儲單元與所述應用服務器的對應關系；

當所述應用服務器的性能指標小于第二閾值時，將在多個所述數據存儲裝置內存儲的數據合并為在一個所述數據存儲裝置內進行存儲，并更改所述數據存儲單元與所述應用服務器的對應關系。

相應的，在所述應用服務器根據應用系統類型對所述應用服務器對應連接的所述數據存儲裝置內的數據進行處理之前，所述方法還包括：

對業務請求分解為多個業務子請求，確定所述業務子請求所需要的應用系統類型，將所述業務子請求發送至對應的應用服務器。

相應的，在所述應用服務器根據應用系統類型對所述應用服務器對應連接的所述數據存儲裝置內的數據進行處理之后，所述方法還包括：