[發明專利]數據處理方法、數據存儲系統、計算機設備及存儲介質

有效

• 申請號: 202110349252.5
• 申請日: 2021-03-31
• 公開（公告）號: CN113064919B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 夏寶寧
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/21
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 寧立存

1.一種數據處理方法，其特征在于，應用于數據存儲系統，包括：

接收數據寫入請求，所述數據寫入請求包括待寫入數據以及所述待寫入數據所屬字段的第一字段標識；

響應于所述數據寫入請求中的所述第一字段標識命中配置信息，將所述待寫入數據以行存儲形式寫入所述數據存儲系統的行存儲空間，所述配置信息中存儲有至少一個目標字段對應的目標字段標識，所述目標字段所對應的寫入參數和查詢參數滿足參考條件；將所述行存儲空間中的增量數據同步至所述數據存儲系統的列存儲空間，所述列存儲空間中的數據以列存儲形式進行存儲；

響應于所述數據寫入請求中的所述第一字段標識未命中配置信息，將所述待寫入數據以列存儲形式寫入所述數據存儲系統的列存儲空間。

2.根據權利要求1所述的數據處理方法，其特征在于，所述將所述行存儲空間中的增量數據同步至所述數據存儲系統的列存儲空間之后，所述方法還包括：

獲取所述數據存儲系統的歷史操作數據，所述歷史操作數據存儲有被操作數據所屬字段的字段標識和對應的數據操作；

基于所述歷史操作數據，確定所述數據存儲系統中字段所對應的寫入參數和查詢參數；

基于所述字段所對應的寫入參數和查詢參數，在所述字段中確定候選字段，所述候選字段所對應的寫入參數和查詢參數滿足所述參考條件；

基于所述候選字段的字段標識，對所述配置信息進行更新。

3.根據權利要求2所述的數據處理方法，其特征在于，所述基于所述候選字段的字段標識，對所述配置信息進行更新，包括：

將所述候選字段的字段標識與所述配置信息中存儲的目標字段標識進行匹配；

響應于所述候選字段的字段標識與所述目標字段標識不同，將所述候選字段的字段標識添加至所述配置信息中。

4.根據權利要求2所述的數據處理方法，其特征在于，所述基于所述候選字段的字段標識，對所述配置信息進行更新，包括：

將所述配置信息中所存儲的所述目標字段標識刪除；

將所述候選字段的字段標識添加至所述配置信息中。

5.根據權利要求2所述的數據處理方法，其特征在于，所述基于所述候選字段的字段標識，對所述配置信息進行更新之后，所述方法還包括：

基于更新后的所述配置信息，調整所述行存儲空間中所存儲的數據。

6.根據權利要求5所述的數據處理方法，其特征在于，所述列存儲空間存儲有全量數據；

所述基于更新后的所述配置信息，調整所述行存儲空間中所存儲的數據，包括：

基于參考周期，讀取所述配置信息；

將本周期內讀取到的第一配置信息與上一周期內讀取到的第二配置信息進行對比；

響應于所述第一配置信息相較于所述第二配置信息，有新增的字段標識，從所述列存儲空間中讀取所述新增的字段標識所指示的數據，將讀取到的所述數據添加至所述行存儲空間；

響應于所述第一配置信息相較于所述第二配置信息，有刪減的字段標識，將所述刪減的字段標識所指示的數據從所述行存儲空間中刪除。

7.根據權利要求1所述的數據處理方法，其特征在于，所述將所述行存儲空間中的增量數據同步至所述數據存儲系統的列存儲空間之后，所述方法還包括：

接收數據查詢請求，所述數據查詢請求包括待查詢數據所屬字段的第二字段標識；

響應于所述數據查詢請求中的所述第二字段標識未命中配置信息，在所述列存儲空間中進行數據查詢；

響應于所述數據查詢請求中的所述第二字段標識命中配置信息，在所述行存儲空間中進行數據查詢。

8.根據權利要求1所述的數據處理方法，其特征在于，所述將所述行存儲空間中的增量數據同步至所述數據存儲系統的列存儲空間，包括：

響應于檢測到所述行存儲空間中的增量數據，且所述增量數據屬于參考字段，將所述增量數據同步至所述列存儲空間；

響應于檢測到所述行存儲空間中的增量數據，且所述增量數據不屬于參考字段，在到達下一數據同步周期時，將所述增量數據同步至所述列存儲空間。