[發明專利]一種結構化數據的處理方法和分布式處理系統

有效

• 申請號: 201710138541.4
• 申請日: 2017-03-09
• 公開（公告）號: CN108572970B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 李童星
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/50
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種結構化數據的處理方法，其特征在于，包括：

接收客戶端發送的第一寫請求；

從所述第一寫請求中獲取第一結構化數據以及所述第一結構化數據對應的寫操作類型；

將所述第一結構化數據以及所述第一結構化數據對應的寫操作類型存儲到寫操作隊列中的第一索引結構信息中；

根據合并提交策略判斷所述寫操作隊列中存儲的所述第一寫請求和第二寫請求是否存在相同的寫操作類型，所述第一寫請求包括：待寫入的第一結構化數據和對應的寫操作類型，所述第二寫請求包括：待寫入的第二結構化數據和對應的寫操作類型；

若所述第一寫請求和所述第二寫請求存在相同的寫操作類型，將所述第一寫請求和所述第二寫請求合并為一個批量寫請求，所述批量寫請求包括：所述第一結構化數據和所述第二結構化數據；

根據所述批量寫請求將所述第一結構化數據和所述第二結構化數據存儲到數據存儲層中。

2.根據權利要求1所述的方法，其特征在于，所述將所述第一寫請求和所述第二寫請求合并為一個批量寫請求，包括：

從所述第一寫請求中提取出所述第一結構化數據，以及從所述第二寫請求中提取出所述第二結構化數據；

根據所述第一結構化數據和所述第二結構化數據生成批量寫請求；

將所述批量寫請求加入到所述寫操作隊列中，以及刪除所述寫操作隊列中的所述第一寫請求和所述第二寫請求。

3.根據權利要求1所述的方法，其特征在于，所述根據所述批量寫請求將所述第一結構化數據和所述第二結構化數據存儲到數據存儲層中之后，所述方法還包括：

獲取所述批量寫請求對應的批量執行結果；

從所述批量執行結果中分別獲取到所述第一結構化數據的存儲結果、所述第二結構化數據的存儲結果；

向發送所述第一寫請求的客戶端回復所述第一結構化數據的存儲結果，以及向發送所述第二寫請求的客戶端回復所述第二結構化數據的存儲結果。

4.根據權利要求1所述的方法，其特征在于，所述接收客戶端發送的第一寫請求之后，所述方法還包括：

從所述第一寫請求中獲取所述第一結構化數據對應的業務標識、列表標識ListKey和行標識SubKey；

將所述第一結構化數據對應的所述業務標識、所述列表標識ListKey和所述行標識SubKey存儲到寫操作隊列中的第一索引結構信息中；

所述將所述第一寫請求和所述第二寫請求合并為一個批量寫請求之后，所述方法還包括：

建立所述第一結構化數據對應的SubKey與第一鏈路文件描述符的第一映射關系以及所述第二結構化數據對應的SubKey與第二鏈路文件描述符的第二映射關系；

根據所述第一映射關系和所述第二映射關系生成回包表，并將所述回包表存儲到所述批量寫請求中。

5.一種分布式處理系統，其特征在于，包括：

接入模塊，用于接收客戶端發送的第一寫請求；

隊列存儲模塊，用于將所述第一寫請求加入到寫操作隊列中，并觸發執行判斷模塊；

判斷模塊，用于根據合并提交策略判斷所述寫操作隊列中存儲的所述第一寫請求和第二寫請求是否存在相同的寫操作類型，所述第一寫請求包括：待寫入的第一結構化數據和對應的寫操作類型，所述第二寫請求包括：待寫入的第二結構化數據和對應的寫操作類型；

合并模塊，用于若所述第一寫請求和所述第二寫請求存在相同的寫操作類型，將所述第一寫請求和所述第二寫請求合并為一個批量寫請求，所述批量寫請求包括：所述第一結構化數據和所述第二結構化數據；

提交模塊，用于根據所述批量寫請求將所述第一結構化數據和所述第二結構化數據存儲到數據存儲層中；

所述隊列存儲模塊，包括：

信息提取模塊，用于從所述第一寫請求中獲取第一結構化數據以及所述第一結構化數據對應的寫操作類型；

索引創建模塊，用于將所述第一結構化數據以及所述第一結構化數據對應的寫操作類型存儲到所述寫操作隊列中的第一索引結構信息中。