[發(fā)明專利]一種基于海量數(shù)據(jù)的數(shù)據(jù)交換方法

在審

• 申請?zhí)枺?/td>: 202010722793.3
• 申請日: 2020-07-24
• 公開（公告）號: CN111858098A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 鄧羽平;劉魁;曹亮
• 申請（專利權(quán)）人: 成都成信高科信息技術(shù)有限公司;成都信息工程大學(xué)
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/455;G06F11/14
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

本發(fā)明公開了一種基于海量數(shù)據(jù)的數(shù)據(jù)交換方法，集中式數(shù)據(jù)中心接收到消息請求后，獲取最不經(jīng)常使用的數(shù)據(jù)從節(jié)點信息；通過消息隊列與最不經(jīng)常使用的數(shù)據(jù)從節(jié)點進(jìn)行通信，向其所在的主題隊列發(fā)送消息以及對應(yīng)的鏡像文件；數(shù)據(jù)從節(jié)點訂閱消息隊列中的主題；數(shù)據(jù)從節(jié)點自動去本地鏡像倉庫拉取所需的算法鏡像；拉取的鏡像賦予數(shù)據(jù)從節(jié)點一定的計算能力，對采集的數(shù)據(jù)進(jìn)行預(yù)處理；數(shù)據(jù)從節(jié)點將處理結(jié)果發(fā)送到集中式數(shù)據(jù)中心的接收主題所對應(yīng)的隊列；集中式數(shù)據(jù)中心從接收主題隊列中獲取到處理結(jié)果后，記錄在本地然后直接返回給消息請求者。有效解決了集中式數(shù)據(jù)中心的數(shù)據(jù)傳輸壓力，提高數(shù)據(jù)傳輸與數(shù)據(jù)分析效率及數(shù)據(jù)安全性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)交換方法，尤其涉及一種基于海量數(shù)據(jù)的數(shù)據(jù)交換方法，屬于云計算技術(shù)領(lǐng)域。

背景技術(shù)

面對海量級別的數(shù)據(jù)，我們首先要考慮的問題是如何提高海量數(shù)據(jù)的操作性能和處理效率。在基于海量數(shù)據(jù)的前提下，隨著云計算及集中式數(shù)據(jù)中心的從節(jié)點的數(shù)據(jù)量增加，各節(jié)點將數(shù)據(jù)傳輸?shù)皆乒?jié)點或數(shù)據(jù)中心時由于物理距離過遠(yuǎn)，對中心服務(wù)造成了巨大的壓力，中心服務(wù)不僅需要接收從節(jié)點傳輸?shù)臄?shù)據(jù)，還要抽取資源進(jìn)行計算用于數(shù)據(jù)分析，容易造成數(shù)據(jù)阻塞，從而導(dǎo)致服務(wù)高延遲、網(wǎng)絡(luò)波動、數(shù)據(jù)丟失及網(wǎng)絡(luò)攻擊等問題。

發(fā)明內(nèi)容

為了解決服務(wù)高延遲、網(wǎng)絡(luò)波動、數(shù)據(jù)丟失及網(wǎng)絡(luò)攻擊等問題，本發(fā)明提供了一種基于海量數(shù)據(jù)的數(shù)據(jù)交換方法。

本發(fā)明的所采用的技術(shù)方案如下：

包括集中式數(shù)據(jù)中心、若干個數(shù)據(jù)從節(jié)點和一個鏡像倉庫；數(shù)據(jù)從節(jié)點具備存儲功能，能夠存儲關(guān)鍵元數(shù)據(jù)信息，當(dāng)存在實時響應(yīng)需求時，可以在本地處理數(shù)據(jù)從而快速響應(yīng)。

一種基于海量數(shù)據(jù)的數(shù)據(jù)交換方法包括如下步驟：

S1：集中式數(shù)據(jù)中心接收到消息請求后，獲取最不經(jīng)常使用的數(shù)據(jù)從節(jié)點信息；

S2：集中式數(shù)據(jù)中心通過消息隊列與最不經(jīng)常使用的數(shù)據(jù)從節(jié)點進(jìn)行通信，向其所在的主題隊列發(fā)送消息以及對應(yīng)的鏡像文件；

S3：數(shù)據(jù)從節(jié)點訂閱消息隊列中的主題；

S4：數(shù)據(jù)從節(jié)點自動去本地鏡像倉庫拉取所需的算法鏡像；

S5：拉取的鏡像賦予數(shù)據(jù)從節(jié)點一定的計算能力，對采集的數(shù)據(jù)進(jìn)行預(yù)處理；

S6：數(shù)據(jù)從節(jié)點將處理結(jié)果發(fā)送到集中式數(shù)據(jù)中心的接收主題所對應(yīng)的隊列；

S7：集中式數(shù)據(jù)中心從接收主題隊列中獲取到處理結(jié)果后，記錄在本地然后直接返回給消息請求者。

所述步驟S5包括子步驟：

S501：通過鏡像部署容器的方式為數(shù)據(jù)從節(jié)點提供計算方法；

S502：通過對鏡像的擴(kuò)展與精簡來提高數(shù)據(jù)從節(jié)點的計算能力。

需要在一定物理范圍內(nèi)多個從節(jié)點高可靠運行協(xié)調(diào)任務(wù)時，所述步驟S2后還包括：

S21：在多個數(shù)據(jù)從節(jié)點上熱備多個容器任務(wù)；

S22：當(dāng)其中一個容器任務(wù)異常退出，其他數(shù)據(jù)從節(jié)點的容器任務(wù)自動進(jìn)行選舉運行。

在一些高敏任務(wù)中，所述步驟S5包括子步驟：

S503：數(shù)據(jù)從節(jié)點通過下載算法鏡像獲取特定的預(yù)警計算功能；

S504：預(yù)警計算功能的普遍適用的數(shù)據(jù)質(zhì)量的六大評估指標(biāo)為準(zhǔn)確性指標(biāo)、有效性指標(biāo)、一致性指標(biāo)、規(guī)范性指標(biāo)、及時性指標(biāo)、完整性指標(biāo)，根據(jù)指標(biāo)對采集數(shù)據(jù)進(jìn)行評估；

S505：判斷評估分?jǐn)?shù)是否滿足預(yù)設(shè)的期望值，若未滿足，則通過消息隊列將該采集任務(wù)下發(fā)到用戶群進(jìn)行預(yù)警。