[發明專利]數據處理方法以及系統

在審

• 申請號: 202111339770.5
• 申請日: 2021-11-12
• 公開（公告）號: CN114254036A
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 劉顯;鄭方;羅從難;郭援非;朱澄;朱瀟威
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 趙杰

1.一種數據處理方法，應用于分布式數據處理系統的數據處理節點，包括：

接收客戶端發送的多個數據處理請求，基于所述多個數據處理請求的數量確定目標處理數量，并根據所述目標處理數量對所述多個數據處理請求進行限流處理，獲得目標數據處理請求；

將所述目標數據處理請求轉發至全局事務管理器，并接收所述全局事務管理器對所述目標數據處理請求進行處理的處理結果，且將所述處理結果返回至每個數據處理請求對應的客戶端。

2.根據權利要求1所述的數據處理方法，所述數據處理節點包括請求接收模塊、共享內存區域以及代理模塊；

所述基于所述多個數據處理請求的數量確定目標處理數量之前，還包括：

所述請求接收模塊基于所述共享內存區域與所述代理模塊建立通信連接。

3.根據權利要求2所述的數據處理方法，所述基于所述多個數據處理請求的數量確定目標處理數量，包括：

所述請求接收模塊基于所述多個數據處理請求的數量在所述共享內存區域中確定待分配處理插槽的數量，并將所述待分配處理插槽的數量作為目標處理數量。

4.根據權利要求3所述的數據處理方法，所述根據所述目標處理數量對所述多個數據處理請求進行限流處理，獲得目標數據處理請求，包括：

所述請求接收模塊根據所述目標處理數量將與所述目標處理數量相同的數據處理請求放置于所述共享內存區域的待分配處理插槽中；

所述代理模塊從所述待分配處理插槽中獲取與所述目標處理數量相同的數據處理請求，并將所述數據處理請求作為目標數據處理請求。

5.根據權利要求2或4所述的數據處理方法，所述將所述目標數據處理請求轉發至全局事務管理器，包括：

所述代理模塊在確定與所述全局事務管理器建立通信連接的情況下，基于所述通信連接將所述目標數據處理請求轉發至所述全局事務管理器。

6.根據權利要求4所述的數據處理方法，所述請求接收模塊根據所述目標處理數量將與所述目標處理數量相同的數據處理請求放置于所述共享內存區域的待分配處理插槽中，包括：

所述請求接收模塊基于所述目標處理數量確定所述共享內存區域的每個待分配處理插槽的信號量；

基于所述信號量將與所述目標處理數量相同的數據處理請求放置于所述共享內存區域的待分配處理插槽中，并修改所述待分配處理插槽中的通信狀態。

7.根據權利要求6所述的數據處理方法，所述請求接收模塊根據所述目標處理數量將與所述目標處理數量相同的數據處理請求放置于所述共享內存區域的待分配處理插槽中之后，還包括：

所述請求接收模塊基于所述與目標處理數量相同的數據處理請求，在所述共享內存區域中的代理薄記中記錄所述待分配處理插槽的狀態，并記錄與所述代理模塊的連接狀態。

8.根據權利要求7所述的數據處理方法，所述將所述目標數據處理請求轉發至全局事務管理器，并接收所述全局事務管理器對所述目標數據處理請求進行處理的處理結果，包括：

所述請求接收模塊在確定所述目標數據處理請求為分布式快照請求的情況下，將所述分布式快照請求轉發至所述全局事務管理器；

所述請求接收模塊接收所述全局事務管理器計算所述每個分布式快照請求的結果。

9.根據權利要求2所述的數據處理方法，所述請求接收模塊基于共享內存區域與所述代理模塊建立通信連接，包括：

所述請求接收模塊基于預設配置數量確定與所述預設配置數量相同的兩個或兩個以上的代理模塊，并基于共享內存區域與所述兩個或兩個以上的代理模塊建立通信連接。

10.根據權利要求9所述的數據處理方法，所述將所述目標數據處理請求轉發至全局事務管理器，包括：

所述請求接收模塊基于預設負載平衡機制將所述目標數據處理請求分配至所述兩個或兩個以上的代理模塊，所述代理模塊將所述目標數據處理請求轉發至全局事務管理器。