[發明專利]基于大數據技術的數據并發處理方法及系統

在審

• 申請號: 201610074791.1
• 申請日: 2016-02-02
• 公開（公告）號: CN105786973A
• 公開（公告）日: 2016-07-20
• 發明（設計）人: 馬昭德;王勝利;王雷;申唯;楊志軍
• 申請（專利權）人: 重慶秒盈電子商務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/54
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 謝殿武

1.一種基于大數據技術的數據并發處理方法，其特征在于：包括

a.通過計數器進行并發計數，所述計數器包括多個計數單元；

c.批量讀取消息隊列，查詢數據庫并刪除存在的重復數據；

d.對多維度數據進行分組匯總；

e.對分組數據進行更新處理。

2.根據權利要求1所述的基于大數據技術的數據并發處理方法，其特征在 于：步驟c之前還包括：

b.計數成功后，觸發消息隊列發送消息。

3.根據權利要求2所述的基于大數據技術的數據并發處理方法，其特征在 于：步驟e之后還包括

f.獲取所有維度保存成功的隊列消息。

4.根據權利要求1所述的基于大數據技術的數據并發處理方法，其特征在 于：所述步驟e具體包括：

e1.帶事務循環批量寫入分組數據，以及該組維度下的明細信息，更新匯總 值。

5.根據權利要求4所述的基于大數據技術的數據并發處理方法，其特征在 于：所述步驟e還包括：

e2.寫入成功后，在消息中標識對應維度下更新成功，若寫入不成功，則調 用計數器，延遲時間戳至隱藏時長；

e3.檢查是否存在只更新了部分維度的消息，確定是否存在需反沖的數據；

e4.若存在，則刪除數據庫明細，反沖匯總數據。

6.根據權利要求1所述的基于大數據技術的數據并發處理方法，其特征在 于：所述步驟c還包括，獲取出隊次數大于1的消息集合，按照隊列的消息編 號查詢數據庫。

7.根據權利要求4所述的基于大數據技術的數據并發處理方法，其特征在 于：所述步驟e3之后還包括：

判斷是否存在維度全更新的消息，若存在則批量刪除消息。

8.一種基于大數據技術的數據并發處理系統，其特征在于：包括數據庫單 元、計數器和調度任務單元；

所述計數器中包括多個串行的計數單元；

所述調度任務單元包括隊列消息查詢模塊、隊列消息讀取模塊、多維度統 計分析模塊和數據反沖模塊；

所述調度任務單元包括消息隊列模塊、消息讀取模塊、查詢模塊、用于對 分組數據進行更新處理的寫入模塊、用于對多維度數據進行分組匯總的分組模 塊和用于檢查是否只更新部分維度消息的檢查模塊。

9.根據權利要求8所述的基于大數據技術的數據并發處理系統，其特征在 于：所述調度任務模塊還包括消費數據存儲模塊和用于在所述寫入模塊寫入失 敗時調用計數器延遲時間戳至隱藏時長的延時模塊。

10.根據權利要求8所述的基于大數據技術的數據并發處理系統，其特征 在于：還包括用于記錄反沖數據和刪除失敗消息的日志模塊。