[發明專利]一種數據處理方法及裝置

有效

• 申請號: 202010740528.8
• 申請日: 2020-07-28
• 公開（公告）號: CN111858637B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 林俊洪
• 申請（專利權）人: 廈門網宿有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2455
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 彭燕

1.一種數據處理方法，其特征在于，包括：

將redis緩存中key值相同的各待處理數據構成消費數據集；每個消費數據集中的待處理數據的數量不超過N條，其中N為正整數；不同消費數據集具有不同的key值；

通過管理線程來確定消費數據集是否加鎖，并分別對各個未加鎖的消費數據集進行加鎖；

針對任一加鎖的消費數據集，通過獲取到所述消費數據集的鎖的消費線程對所述消費數據集中的待處理數據進行處理，并針對所述消費數據集中的所有待處理數據的處理結果進行一次性入庫操作；一次性入庫操作均在同一個事務內完成；

創建消費數據集，記錄創建時間；

依次將接收到的待處理數據存入所述消費數據集，待處理數據指向目標key值；

若所述消費數據集中的待處理數據的數量等于N，或系統當前時間與所述創建時間的差值大于第一時間閾值，則停止存入，并返回至所述創建消費數據集的步驟，直至待處理數據均存入對應的消費數據集中。

2.如權利要求1所述的方法，其特征在于，

在所述創建消費數據集之后，還包括：

設置所述消費數據集的key值，其中所述消費數據集的key值中記錄所述目標key值與所述創建時間。

3.如權利要求1-2任一項所述的方法，其特征在于，還包括：

若所述線程被認定為異常，則對鎖進行釋放并重新確定獲取所述消費數據集的鎖的線程。

4.如權利要求1-2任一項所述的方法，其特征在于，

在完成所述入庫操作之后，還包括：

從所述redis緩存中刪除所述消費數據集，并在刪除所述消費數據集之后刪除對應的鎖。

5.如權利要求1-2任一項所述的方法，其特征在于，還包括：

在對所述消費數據集進行加鎖后，設置鎖超時時長；

若確定所述消費數據集的加鎖時長不小于所述鎖超時時長，則對所述消費數據集的鎖進行釋放。

6.一種數據處理裝置，其特征在于，包括：

消費數據集形成單元，用于將redis緩存中key值相同的各待處理數據構成消費數據集；每個消費數據集中的所述待處理數據的數量不超過N條，其中N為正整數；不同消費數據集具有不同的key值；

數據處理單元，用于通過管理線程來確定消費數據集是否加鎖，并分別對各個未加鎖的消費數據集進行加鎖；

數據處理單元，還用于針對任一加鎖的消費數據集，通過獲取到所述消費數據集的鎖的消費線程對所述消費數據集中的待處理數據進行處理，并針對所述消費數據集中的所有待處理數據的處理結果進行一次性入庫操作；一次性入庫操作均在同一個事務內完成；

消費數據集形成單元，具體用于創建消費數據集，記錄創建時間；依次將接收到的待處理數據存入所述消費數據集，待處理數據指向目標key值；若所述消費數據集中的待處理數據的數量等于N，或系統當前時間與所述創建時間的差值大于第一時間閾值，則停止存入，并返回至所述創建消費數據集的步驟，直至待處理數據均存入對應的消費數據集中。

7.一種計算設備，其特征在于，包括：

存儲器，用于存儲程序指令；

處理器，用于調用所述存儲器中存儲的程序指令，按照獲得的程序執行如權利要求1-5任一項所述的方法。

8.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有計算機可執行指令，所述計算機可執行指令用于使計算機執行如權利要求1-5任一項所述的方法。