[發(fā)明專利]一種海量數(shù)據(jù)集成系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201310039925.2
• 申請日: 2013-01-31
• 公開（公告）號: CN103136336A
• 公開（公告）日: 2013-06-05
• 發(fā)明（設(shè)計）人: 蔡立晶;梁勇;王振峰
• 申請（專利權(quán)）人: 中國農(nóng)業(yè)銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

1.一種海量數(shù)據(jù)集成系統(tǒng)，其特征在于，所述系統(tǒng)包括：

若干個數(shù)據(jù)存儲裝置、數(shù)據(jù)轉(zhuǎn)換裝置、應(yīng)用服務(wù)資源池、注冊裝置以及監(jiān)控裝置；

所述數(shù)據(jù)存儲裝置，用于對數(shù)據(jù)進(jìn)行存儲；

所述數(shù)據(jù)轉(zhuǎn)換裝置，用于將在一個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)拆分為在多個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲，或者，將在多個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)合并為在一個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲；

所述應(yīng)用服務(wù)資源池中包括若干個應(yīng)用服務(wù)器，所述應(yīng)用服務(wù)器加載應(yīng)用系統(tǒng)，并根據(jù)應(yīng)用系統(tǒng)類型對所述應(yīng)用服務(wù)器對應(yīng)連接的所述數(shù)據(jù)存儲裝置內(nèi)的數(shù)據(jù)進(jìn)行處理；

注冊裝置，用于記錄所述數(shù)據(jù)存儲單元、所述應(yīng)用服務(wù)器的地址，以及所述數(shù)據(jù)存儲單元與所述應(yīng)用服務(wù)器的對應(yīng)關(guān)系；

監(jiān)控裝置，用于對所述應(yīng)用服務(wù)資源池內(nèi)的所述應(yīng)用服務(wù)器進(jìn)行監(jiān)控，當(dāng)所述應(yīng)用服務(wù)器的性能指標(biāo)大于第一閾值時，控制所述數(shù)據(jù)轉(zhuǎn)換裝置對數(shù)據(jù)進(jìn)行拆分，并更改所述注冊裝置中記錄的所述數(shù)據(jù)存儲單元與所述應(yīng)用服務(wù)器的對應(yīng)關(guān)系；當(dāng)所述應(yīng)用服務(wù)器的性能指標(biāo)小于第二閾值時，控制所述數(shù)據(jù)轉(zhuǎn)換裝置對數(shù)據(jù)進(jìn)行合并，并更改所述注冊裝置中記錄的所述數(shù)據(jù)存儲單元與所述應(yīng)用服務(wù)器的對應(yīng)關(guān)系。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

服務(wù)分解裝置，用于對業(yè)務(wù)請求分解為多個業(yè)務(wù)子請求，確定所述業(yè)務(wù)子請求所需要的應(yīng)用系統(tǒng)類型，將所述業(yè)務(wù)子請求發(fā)送至對應(yīng)的應(yīng)用服務(wù)器，以使所述對應(yīng)服務(wù)器根據(jù)應(yīng)用系統(tǒng)類型對所述應(yīng)用服務(wù)器對應(yīng)連接的所述數(shù)據(jù)存儲裝置內(nèi)的數(shù)據(jù)進(jìn)行處理。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

服務(wù)整合裝置，用于對不同所述應(yīng)用服務(wù)器的處理結(jié)果進(jìn)行整合，并將整合結(jié)果反饋給用戶。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

備份數(shù)據(jù)存儲裝置，用于對所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)進(jìn)行備份。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)轉(zhuǎn)換裝置包括：

數(shù)據(jù)拆分單元，用于根據(jù)預(yù)定鍵值，將在一個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)拆分為在多個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲；

數(shù)據(jù)合并單元，用于根據(jù)預(yù)定鍵值，將在多個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)合并為在一個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲。

6.一種海量數(shù)據(jù)集成方法，其特征在于，所述方法包括：

數(shù)據(jù)存儲裝置對數(shù)據(jù)進(jìn)行存儲；

應(yīng)用服務(wù)器根據(jù)應(yīng)用系統(tǒng)類型對所述應(yīng)用服務(wù)器對應(yīng)連接的所述數(shù)據(jù)存儲裝置內(nèi)的數(shù)據(jù)進(jìn)行處理；

對所述應(yīng)用服務(wù)器進(jìn)行監(jiān)控；

當(dāng)所述應(yīng)用服務(wù)器的性能指標(biāo)大于第一閾值時，將在一個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)拆分為在多個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲，并更改所述數(shù)據(jù)存儲單元與所述應(yīng)用服務(wù)器的對應(yīng)關(guān)系；

當(dāng)所述應(yīng)用服務(wù)器的性能指標(biāo)小于第二閾值時，將在多個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)合并為在一個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲，并更改所述數(shù)據(jù)存儲單元與所述應(yīng)用服務(wù)器的對應(yīng)關(guān)系。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述應(yīng)用服務(wù)器根據(jù)應(yīng)用系統(tǒng)類型對所述應(yīng)用服務(wù)器對應(yīng)連接的所述數(shù)據(jù)存儲裝置內(nèi)的數(shù)據(jù)進(jìn)行處理之前，所述方法還包括：

對業(yè)務(wù)請求分解為多個業(yè)務(wù)子請求，確定所述業(yè)務(wù)子請求所需要的應(yīng)用系統(tǒng)類型，將所述業(yè)務(wù)子請求發(fā)送至對應(yīng)的應(yīng)用服務(wù)器。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述應(yīng)用服務(wù)器根據(jù)應(yīng)用系統(tǒng)類型對所述應(yīng)用服務(wù)器對應(yīng)連接的所述數(shù)據(jù)存儲裝置內(nèi)的數(shù)據(jù)進(jìn)行處理之后，所述方法還包括：

對不同所述應(yīng)用服務(wù)器的處理結(jié)果進(jìn)行整合，并將整合結(jié)果反饋給用戶。

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

對所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)進(jìn)行備份。

10.根據(jù)權(quán)利要求6所述的方法，其特征在于，

所述將在一個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)拆分為在多個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲，包括：

根據(jù)預(yù)定鍵值，將在一個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)拆分為在多個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲；

所述將在多個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)合并為在一個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲，包括：

根據(jù)預(yù)定鍵值，將在多個所述數(shù)據(jù)存儲裝置內(nèi)存儲的數(shù)據(jù)合并為在一個所述數(shù)據(jù)存儲裝置內(nèi)進(jìn)行存儲。