[發明專利]基于分布式分發的數據處理方法、裝置及相關設備

有效

• 申請號: 201910979525.7
• 申請日: 2019-10-15
• 公開（公告）號: CN111030983B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 曹敏;方良秀
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06F18/23213;H04L67/1001;G06F40/289;G06F18/24
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 劉麗華;孫芬

一種基于分布式分發的數據處理方法，所述方法包括：獲取需要進行估值處理的待處理數據；根據所述待處理數據，構建多個組合數據；采用DH密鑰交換協議/算法對所述多個組合數據進行加密，獲得多個組合加密數據；采用負載均衡技術，將所述多個組合加密數據分發至多個處理服務器上；控制所述多個處理服務器采用多線程機制對所述多個組合加密數據執行估值處理流程；在所述多個處理服務器進行估值處理流程的過程中，采用優雅停機機制以及隔離層機制對所述多個處理服務器所提供的服務進行控制。本發明還提供一種數據處理裝置及相關設備。本發明能提高估值效率。

技術領域

本發明涉及數據分發技術領域，尤其涉及一種基于分布式分發的數據處理方法、裝置及相關設備。

背景技術

估值作為資產管理中最核心的一環，起著承上啟下的重要作用。現有的估值處理系統的功能和數據比較相似，從基礎數據和交易數據出發，功能包括基礎設置、文件導入、交易數據、生成憑證，生成估值表，最終生成資產凈值。

然而，實踐中發現，所有數據都在一臺服務器上運行，服務器要求很高，成本昂貴，多賬戶的數據處理完之后才能出估值結果，效率低運行速度慢，延長基金會計的工作時間。而且，一旦某個數據的估值流程出現阻塞，其他數據的估值將受到影響。

可見，現有的估值效率較低。

發明內容

鑒于以上內容，有必要提供一種基于分布式分發的數據處理方法、裝置及相關設備，能夠提高估值效率。

本發明的第一方面提供一種基于分布式分發的數據處理方法，所述方法包括：

獲取需要進行估值處理的待處理數據；

根據所述待處理數據，構建多個組合數據；

采用DH密鑰交換協議/算法對所述多個組合數據進行加密，獲得多個組合加密數據；

采用負載均衡技術，將所述多個組合加密數據分發至多個處理服務器上；

控制所述多個處理服務器采用多線程機制對所述多個組合加密數據執行估值處理流程；

在所述多個處理服務器進行估值處理流程的過程中，采用優雅停機機制以及隔離層機制對所述多個處理服務器所提供的服務進行控制。

在一種可能的實現方式中，所述根據所述待處理數據，構建多個組合數據包括：

獲取所述待處理數據的數據標識；

按照所述待處理數據的數據標識，對所述待處理數據進行分類，獲得多個組合數據。

在一種可能的實現方式中，所述根據所述待處理數據，構建多個組合數據包括：

采用預設分類算法對所述待處理數據進行分類，獲得多個類別；

根據每個所述類別的待處理數據，構建與所述類別匹配的組合數據。

在一種可能的實現方式中，所述采用負載均衡技術，將所述多個組合加密數據分發至多個處理服務器上包括：

統計所述多個組合加密數據的第一數量以及所述多個處理服務器的第二數量；

對所述第一數量和所述第二數量進行取模運算和取余運算，獲得模數以及余數；

將所述模數的組合加密數據分發至每個所述處理服務器上；

根據每個所述處理服務器的最大處理數量，將所述余數的組合加密數據進行分發；

其中，在分發所述多個組合加密數據之后，所述多個處理服務器上的組合加密數據達到負載均衡且每個所述處理服務器上的組合加密數據不超過所述處理服務器的最大處理數量。