[發明專利]數據處理方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202110230018.0
• 申請日: 2021-03-02
• 公開（公告）號: CN114996210A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 蔣乾;王展雄;郭棋林;高磊;馮可
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/172;G06F16/178;G06F16/182
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 董慧

本申請涉及一種數據處理方法、裝置、計算機設備和存儲介質，涉及計算機技術領域，一個實施例中的方法包括：從實時更新的業務數據中獲取當前第一時間周期中的增量變更數據，根據獲取的增量變更數據生成當前第一時間周期的增量數據文件；基于當前第二時間周期中的當前第一時間周期之前的各第一時間周期的增量數據文件，與上一個第二時間周期中的最后一個第一時間周期的第一歷史全量數據文件合并，獲得當前第一時間周期的第二歷史全量數據文件，第二時間周期包括至少兩個第一時間周期。采用本實施例的方案，在需要提供數據內容時，可以直接提取到相應的第一時間周期對應的第二歷史全量數據文件，無需繁冗的數據查詢的處理過程，提高了處理效率。

技術領域

本申請涉及計算機技術領域，特別是涉及一種數據處理方法、裝置、計算機設備和存儲介質。

背景技術

隨著計算機技術的發展，相關場景下的數據極速增長，從而在數據處理和處理的相關技術中，對海量數據的存儲和處理成為涉及海量數據的相關業務處理的一項重要內容。例如，在一些會實時產生相關業務數據的業務場景中，業務數據會實時產生或者更新，因此需要及時對這些業務數據進行存儲和處理。傳統的對海量數據的存儲方式，在需要基于存儲的海量數據提供數據內容時，存在效率低下的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種數據處理方法、裝置、計算機設備和存儲介質。

一種數據處理方法，所述方法包括：

從實時更新的業務數據中獲取當前第一時間周期中的增量變更數據，根據獲取的增量變更數據生成當前第一時間周期的增量數據文件；

基于當前第二時間周期中的當前第一時間周期之前的各第一時間周期的增量數據文件，與上一個第二時間周期中的最后一個第一時間周期的第一歷史全量數據文件合并，獲得當前第一時間周期的第二歷史全量數據文件，所述第二時間周期包括至少兩個所述第一時間周期；所述第一歷史全量數據文件，是用以存儲生成時間在上一個第二時間周期中的最后一個第一時間周期的周期結束時間點之前的所有業務數據的文件，所述第二歷史全量數據文件，是用以存儲生成時間在當前第一時間周期的周期結束時間點之前的所有業務數據的文件。

一個實施例中，從實時更新的業務數據中獲取當前第一時間周期中的增量變更數據之前，還包括：實時獲取更新的業務數據，并將獲取的業務數據存入第一存儲介質；

從實時更新的業務數據中獲取當前第一時間周期中的增量變更數據，包括：從所述第一存儲介質中獲取當前第一時間周期中的增量變更數據。

一個實施例中，在所述當前第一時間周期為當前第二時間周期中的第一個第一時間周期時，對所述當前第一時間周期的增量數據文件進行同步，獲得所述第二周期全量數據文件。

一個實施例中，在所述當前第一時間周期為當前第二時間周期中的第一個第一時間周期時，將所述第二周期全量數據文件與所述第一歷史全量數據文件合并，獲得當前第一時間周期的第二歷史全量數據文件，包括：

在所述第二周期全量數據文件中的當前數據內容標識的當前字段標識的字段內容不為空時，將所述第二周期全量數據文件中的所述當前數據內容標識的所述當前字段標識的字段內容，作為所述當前數據內容標識的所述當前字段標識的內容，同步到所述第二歷史全量數據文件；

在所述第二周期全量數據文件中的當前數據內容標識的當前字段標識的字段內容為空時，將所述第一歷史全量數據文件中的所述當前數據內容標識的所述當前字段標識的字段內容，作為所述當前數據內容標識的所述當前字段標識的內容，同步到所述第二歷史全量數據文件。

一個實施例中，所述第一時間周期為1小時，所述第二時間周期為1天。

一種數據處理裝置，所述裝置包括：