[發明專利]數據處理方法及計算機可讀介質

有效

• 申請號: 201811216590.6
• 申請日: 2018-10-18
• 公開（公告）號: CN109508244B
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 陳曠;付國為;李杰
• 申請（專利權）人: 北京新唐思創教育科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰;蘭淑鐸

1.一種數據處理方法，其特征在于，包括：

從第一消息隊列中獲取待存儲的數據包，其中，所述數據包中包括業務數據和對應的時間信息；

根據所述時間信息，將所述業務數據存儲至與所述時間信息對應的數據存儲對象中；

獲取并更新與所述數據存儲對象對應的數據存儲清單，其中，所述數據存儲清單中包含有預設的待存儲至所述數據存儲對象中的至少一個數據包的信息；

判斷所述數據存儲清單中的待存儲的所有數據包是否已全部存儲至所述數據存儲對象；

若是，則將所述數據存儲對象中存儲的所有業務數據發布至第二消息隊列；

若否，則對所述數據存儲對象中已存儲的業務數據進行持久化存儲。

2.根據權利要求1所述的數據處理方法，其特征在于，所述數據存儲對象中具有時間戳信息；

所述根據所述時間信息，將所述業務數據存儲至與所述時間信息對應的數據存儲對象中，包括：

確定是否存在時間戳信息與所述時間信息對應的數據存儲對象；

若存在，則將所述業務數據存儲至對應的數據存儲對象中；

若不存在，則創建一個新的數據存儲對象，并將新的所述數據存儲對象的時間戳信息設置為所述時間信息，并將所述業務數據存儲至新的所述數據存儲對象中。

3.根據權利要求1所述的數據處理方法，其特征在于，獲取并更新與所述數據存儲對象對應的數據存儲清單，包括：

從獲取的所述數據存儲清單中刪除與所述數據存儲對象中已經存儲的業務數據對應的數據包的信息。

4.根據權利要求3所述的數據處理方法，其特征在于，判斷所述數據存儲清單中的待存儲的所有數據包是否已全部存儲至所述數據存儲對象，包括：

判斷所述數據存儲清單是否為空；

若為空，則確定所述數據存儲清單中的待存儲的所有數據包已全部存儲至所述數據存儲對象；

若不為空，則確定所述數據存儲清單中的待存儲的所有數據包未全部存儲至所述數據存儲對象。

5.根據權利要求1所述的數據處理方法，其特征在于，將所述數據存儲對象中存儲的所有業務數據發布至第二消息隊列，包括：

確定調度器是否處于空閑狀態，其中，所述調度器用于對所述業務數據進行調度和發布；

若所述調度器處于空閑狀態，則通過調度器調度出數據存儲對象中存儲的所有業務數據并發布至所述第二消息隊列；

若所述調度器未處于空閑狀態，則將數據存儲對象存儲在存儲空間內，以等待所述調度器進行調度。

6.根據權利要求5所述的數據處理方法，其特征在于，確定調度器是否處于空閑狀態，包括：

比較所述第二消息隊列的緩存空間的尺寸和預設的緩存閾值；

若所述緩存空間的尺寸小于所述預設的緩存閾值，則確定所述調度器處于空閑狀態；

若所述緩存空間的尺寸大于或等于所述預設的緩存閾值，則確定所述調度器處于非空閑狀態。

7.根據權利要求1所述的數據處理方法，其特征在于，所述第一消息隊列為分布式消息隊列；

所述從第一消息隊列中獲取包含業務數據的數據包，包括：

確定所述第一消息隊列中的數據包是否為分布式消息隊列中的日志文件，其中，所述日志文件包括所述業務數據和所述時間信息；

若是日志文件，則獲取所述數據包。

8.一種計算機可讀介質，其特征在于，所述計算機存儲介質存儲有：用于從第一消息隊列中獲取待存儲的數據包的指令，其中，所述數據包中包括業務數據和對應的時間信息；用于根據所述時間信息，將所述業務數據存儲至與所述時間信息對應的數據存儲對象中的指令；用于獲取并更新與所述數據存儲對象對應的數據存儲清單的指令，其中，所述數據存儲清單中包含有預設的待存儲至所述數據存儲對象中的至少一個數據包的信息；用于判斷所述數據存儲清單中的待存儲的所有數據包是否已全部存儲至所述數據存儲對象的指令；用于在判斷已全部存儲時，將所述數據存儲對象中存儲的所有業務數據發布至第二消息隊列的指令；用于在判斷未全部存儲時，則對所述數據存儲對象中已存儲的業務數據進行持久化存儲的指令。