[發(fā)明專利]一種高并發(fā)高解耦數(shù)據(jù)處理方法及數(shù)據(jù)中臺系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010531642.X
• 申請日: 2020-06-11
• 公開（公告）號: CN111831458A
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計）人: 姚毅;丁樺;熊云飛
• 申請（專利權(quán)）人: 武漢烽火技術(shù)服務(wù)有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/445;G06F16/21;G06K9/62
• 代理公司: 武漢智權(quán)專利代理事務(wù)所(特殊普通合伙) 42225
• 代理人: 王江能

1.一種高并發(fā)高解耦數(shù)據(jù)處理方法，其特征在于，包括：

數(shù)據(jù)入棧過程，通過Ngnix服務(wù)器接收打包數(shù)據(jù)并分發(fā)給多個Publisher實例，Publisher實例根據(jù)打包數(shù)據(jù)的業(yè)務(wù)類型將其分發(fā)給多個消息隊列；

數(shù)據(jù)出棧過程，通過Consumer實例從多個消息隊列獲取打包數(shù)據(jù)，并對其進(jìn)行處理得到處理結(jié)果，將處理結(jié)果存入本地數(shù)據(jù)庫，本地數(shù)據(jù)庫對處理結(jié)果進(jìn)行分類得到對應(yīng)不同業(yè)務(wù)維度的最終數(shù)據(jù)，每個業(yè)務(wù)維度的最終數(shù)據(jù)均通過唯一的本地端口和映射端口輸出。

2.如權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，數(shù)據(jù)處理方法還包括配置過程：

配置本地數(shù)據(jù)庫的預(yù)設(shè)分類策略，預(yù)設(shè)分類策略為根據(jù)多個業(yè)務(wù)維度對數(shù)據(jù)進(jìn)行分類；

配置本地數(shù)據(jù)庫，本地數(shù)據(jù)庫包括多個本地端口，在公網(wǎng)上配置有與每個本地端口對應(yīng)的映射端口。

3.如權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，配置過程還包括配置預(yù)設(shè)數(shù)量的數(shù)據(jù)來源端及對應(yīng)的上報權(quán)限，配置上報權(quán)限包括：

數(shù)據(jù)來源端向數(shù)據(jù)中臺系統(tǒng)申請appId、appKey、以及向數(shù)據(jù)中臺系統(tǒng)上報打包數(shù)據(jù)時的原始URL；

數(shù)據(jù)中臺系統(tǒng)保存所有數(shù)據(jù)來源端的appId、appKey、以及原始URL，以在數(shù)據(jù)來源端向數(shù)據(jù)中臺系統(tǒng)上報打包數(shù)據(jù)時對其進(jìn)行驗證，在驗證通過時接收打包數(shù)據(jù)，在驗證失敗時反饋錯誤代碼。

4.如權(quán)利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述數(shù)據(jù)處理方法還包括：

數(shù)據(jù)打包過程，通過數(shù)據(jù)來源端獲取原始數(shù)據(jù)，根據(jù)原始數(shù)據(jù)的數(shù)據(jù)屬性生成業(yè)務(wù)類型，根據(jù)原始數(shù)據(jù)的業(yè)務(wù)類型和數(shù)據(jù)內(nèi)容生成打包數(shù)據(jù)，根據(jù)appId、appKey、原始URL、以及時間戳生成最終URL后，通過HTTP POST請求方式將打包數(shù)據(jù)上傳至關(guān)聯(lián)于最終URL的Publisher實例；

數(shù)據(jù)使用過程，從映射端口獲取最終數(shù)據(jù)進(jìn)行數(shù)據(jù)應(yīng)用。

5.如權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，打包數(shù)據(jù)包括第一類型數(shù)據(jù)和第二類型數(shù)據(jù)，第一類型數(shù)據(jù)的數(shù)據(jù)量小于第二類型數(shù)據(jù)；

第一類型數(shù)據(jù)包括JSON類型數(shù)據(jù)；

第二類型數(shù)據(jù)包括文件類型數(shù)據(jù)。

6.如權(quán)利要求5所述的數(shù)據(jù)處理方法，其特征在于，打包數(shù)據(jù)為第一類型數(shù)據(jù)時，Publisher實例接收打包數(shù)據(jù)后，將打包數(shù)據(jù)解析后得到的數(shù)據(jù)屬性和數(shù)據(jù)內(nèi)容作為相關(guān)信息存儲至相應(yīng)的消息隊列；

打包數(shù)據(jù)為第二類型數(shù)據(jù)時，Publisher實例接收打包數(shù)據(jù)后，將打包數(shù)據(jù)解析后得到的數(shù)據(jù)內(nèi)容存儲至本地數(shù)據(jù)庫并得到本地存儲地址，將打包數(shù)據(jù)解析后得到的數(shù)據(jù)屬性和本地存儲地址作為相關(guān)信息存儲至相應(yīng)的消息隊列。

7.如權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，Publisher實例接收到打包數(shù)據(jù)后，判斷是否存在隊列標(biāo)識與打包數(shù)據(jù)的業(yè)務(wù)類型匹配的消息隊列，如果存在，則將打包數(shù)據(jù)分發(fā)給相應(yīng)的消息隊列，如果不存在，則判斷是否創(chuàng)建隊列標(biāo)識與打包數(shù)據(jù)的業(yè)務(wù)類型匹配的消息隊列，并將打包數(shù)據(jù)分發(fā)給新建的消息隊列。

8.如權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，Consumer實例從消息隊列取出打包數(shù)據(jù)后，消息隊列將該打包數(shù)據(jù)添加待處理標(biāo)識后移至隊列末尾；

Consumer實例對打包數(shù)據(jù)處理成功后向消息隊列反饋處理成功通知，消息隊列刪除該打包數(shù)據(jù)；

Consumer實例對打包數(shù)據(jù)處理失敗后向消息隊列反饋處理失敗通知，消息隊列刪除該打包數(shù)據(jù)的待處理標(biāo)識，并將該打包數(shù)據(jù)重新放入消息隊列。