[發明專利]一種結構化數據的處理方法和分布式處理系統

有效

• 申請號: 201710138541.4
• 申請日: 2017-03-09
• 公開（公告）號: CN108572970B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 李童星
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/50
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本發明實施例公開一種結構化數據的處理方法和分布式處理系統，用于提高寫請求的處理效率，降低寫操作隊列的排隊時延。該結構化數據的處理方法，包括：根據合并提交策略判斷寫操作隊列中存儲的第一寫請求和第二寫請求是否存在相同的寫操作類型，所述第一寫請求包括：待寫入的第一結構化數據和對應的寫操作類型，所述第二寫請求包括：待寫入的第二結構化數據和對應的寫操作類型；若所述第一寫請求和所述第二寫請求存在相同的寫操作類型，將所述第一寫請求和所述第二寫請求合并為一個批量寫請求，所述批量寫請求包括：所述第一結構化數據和所述第二結構化數據；根據所述批量寫請求將所述第一結構化數據和所述第二結構化數據存儲到數據存儲層中。

技術領域

本發明涉及計算機技術領域，尤其涉及一種結構化數據的處理方法和分布式處理系統。

背景技術

隨著網絡技術的發展，對信息的傳遞和處理的要求越來越高，能夠用數據或統一的結構加以表示的信息，我們稱之為結構化數據，如數字、符號。結構化數據有特定的字段，即行數據,存儲在數據庫里，可以用二維表結構來邏輯表達實現的數據。例如用戶使用社交軟件發表一條說說，具有發表標識(Identifier，ID)、時間、標題、正文等字段。

現有技術中，在處理結構化數據時通常采用如下方案：客戶端向數據處理系統中的邏輯層發送寫請求，為了保證原子性，數據處理系統根據列表標識(List Key)將該寫請求路由至寫操作隊列進行排隊依次寫入存儲層，并依次返回客戶端請求寫入的結果。此時，寫入數據的延遲＝存儲層處理延遲+排隊延遲。現有技術中，數據處理系統在處理結構化數據寫入的時候，都是采取排隊依次逐個數據寫入的方式，在并發量比較大的場景下，會導致很多寫請求超時以至于無法寫入存儲層，造成客戶端寫入數據失敗。

發明內容

本發明實施例提供了一種結構化數據的處理方法和分布式處理系統，用于提高寫請求的處理效率，降低寫操作隊列的排隊時延。

為解決上述技術問題，本發明實施例提供以下技術方案：

第一方面，本發明實施例提供一種結構化數據的處理方法，包括：

根據合并提交策略判斷寫操作隊列中存儲的第一寫請求和第二寫請求是否存在相同的寫操作類型，所述第一寫請求包括：待寫入的第一結構化數據和對應的寫操作類型，所述第二寫請求包括：待寫入的第二結構化數據和對應的寫操作類型；

若所述第一寫請求和所述第二寫請求存在相同的寫操作類型，將所述第一寫請求和所述第二寫請求合并為一個批量寫請求，所述批量寫請求包括：所述第一結構化數據和所述第二結構化數據；

根據所述批量寫請求將所述第一結構化數據和所述第二結構化數據存儲到數據存儲層中。

第二方面，本發明實施例還提供一種分布式處理系統，包括：

判斷模塊，用于根據合并提交策略判斷寫操作隊列中存儲的第一寫請求和第二寫請求是否存在相同的寫操作類型，所述第一寫請求包括：待寫入的第一結構化數據和對應的寫操作類型，所述第二寫請求包括：待寫入的第二結構化數據和對應的寫操作類型；

合并模塊，用于若所述第一寫請求和所述第二寫請求存在相同的寫操作類型，將所述第一寫請求和所述第二寫請求合并為一個批量寫請求，所述批量寫請求包括：所述第一結構化數據和所述第二結構化數據；

提交模塊，用于根據所述批量寫請求將所述第一結構化數據和所述第二結構化數據存儲到數據存儲層中。

從以上技術方案可以看出，本發明實施例具有以下優點：