[發明專利]基于分布式分發的數據處理方法、裝置及相關設備

有效

• 申請號: 201910979525.7
• 申請日: 2019-10-15
• 公開（公告）號: CN111030983B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 曹敏;方良秀
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06F18/23213;H04L67/1001;G06F40/289;G06F18/24
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 劉麗華;孫芬

1.一種基于分布式分發的數據處理方法，其特征在于，所述方法包括：

獲取需要進行估值處理的待處理數據；

根據所述待處理數據，構建多個組合數據，包括：獲取所述待處理數據的數據標識，按照所述待處理數據的數據標識，對所述待處理數據進行分類，獲得所述多個組合數據，其中，將相同數據標識的所述待處理數據劃分為一類，獲得一個組合數據，每個組合數據包括交易數據和財務數據；以及采用預設分類算法對所述待處理數據進行分類，獲得多個類別，其中，根據所述預設分類算法對以文本形式存在的問題進行聚類分析，將多個問題清單中的問題進行歸類，使得不同意思的問題清單中的問題歸為不同的類別；根據每個所述類別的待處理數據，構建與所述類別匹配的組合數據；

采用DH密鑰交換協議/算法對所述多個組合數據進行加密，獲得多個組合加密數據；

采用負載均衡技術，將所述多個組合加密數據分發至多個處理服務器上；

控制所述多個處理服務器采用多線程機制對所述多個組合加密數據執行估值處理流程；

在所述多個處理服務器進行估值處理流程的過程中，采用優雅停機機制以及隔離層機制對所述多個處理服務器所提供的服務進行控制，其中，采用隔離層機制對所述多個處理服務器所提供的服務進行控制，包括采用所述隔離層機制對每個處理服務器所提供的多個服務進行權限控制。

2.根據權利要求1所述的方法，其特征在于，所述采用負載均衡技術，將所述多個組合加密數據分發至多個處理服務器上包括：

統計所述多個組合加密數據的第一數量以及所述多個處理服務器的第二數量；

對所述第一數量和所述第二數量進行取模運算和取余運算，獲得模數以及余數；

將所述模數的組合加密數據分發至每個所述處理服務器上；

根據每個所述處理服務器的最大處理數量，將所述余數的組合加密數據進行分發；

其中，在分發所述多個組合加密數據之后，所述多個處理服務器上的組合加密數據達到負載均衡且每個所述處理服務器上的組合加密數據不超過所述處理服務器的最大處理數量。

3.根據權利要求1所述的方法，其特征在于，所述控制所述多個處理服務器采用多線程機制對所述多個組合加密數據執行估值處理流程包括：

采用多線程機制，控制所述多個處理服務器并行執行估值處理流程；

針對每個所述處理服務器，控制所述處理服務器采用所述多線程機制并行處理分發至所述處理服務器上的多個組合加密數據且并行處理所述多個組合加密數據的相同估值步驟。

4.根據權利要求1所述的方法，其特征在于，所述采用優雅停機機制對所述多個處理服務器所提供的服務進行控制包括：

當目標處理服務器上的服務需要停止運行時，采用優雅停機機制將當前正在處理的請求轉移到當前處理壓力最小的處理服務器上，且控制新的請求被分配到所述多個處理服務器中除了所述目標處理服務器之外的剩余處理服務器上。

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述方法還包括：

針對每個所述組合數據，采用預設中文分詞算法對所述組合數據進行中文分詞，獲得多個初步關鍵詞；

計算所述多個初步關鍵詞與預設的多個業務關鍵詞之間的匹配度；

若所述匹配度大于預設匹配度閾值，將所述多個初步關鍵詞對應的組合數據確定為業務數據。