[發明專利]數據處理方法、數據存儲系統、計算機設備及存儲介質

有效

• 申請號: 202110349252.5
• 申請日: 2021-03-31
• 公開（公告）號: CN113064919B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 夏寶寧
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/21
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 寧立存

本公開關于一種數據處理方法、數據存儲系統、計算機設備及存儲介質，屬于計算機技術領域。本公開通過在數據存儲系統中同時設置行存儲空間和列存儲空間，應用配置信息來配置各個字段的存儲形式，對于數據寫入需求較大的字段，直接以行存儲形式寫入到行存儲空間，從而能夠保證數據的寫入速度較快，再調用數據同步功能，將行存儲空間中更新的數據同步到列存儲空間中，使列存儲空間能夠存儲有完整的、最新的數據，從而能夠良好的支持數據查詢，保證數據查詢的速度較快。

技術領域

本公開涉及計算機技術領域，尤其涉及一種數據處理方法、數據存儲系統、計算機設備及存儲介質。

背景技術

隨著互聯網技術的發展，網絡中所需要存儲的數據也越來越多，海量的數據存儲對于數據存儲系統的性能要求也大幅提高。而目前的數據存儲系統，往往難以同時具備較快的數據寫入速度和數據查詢速度，難以滿足高頻率的數據寫入和查詢需求。因此，如何使數據存儲系統能夠兼顧數據查詢速度和數據寫入速度，是一個重要研究方向。

發明內容

本公開提供一種數據處理方法、數據存儲系統、計算機設備及存儲介質，能夠提高數據存儲系統的數據查詢速度和數據寫入速度。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種數據處理方法，應用于數據存儲系統，包括：

接收數據寫入請求，該數據寫入請求包括待寫入數據以及該待寫入數據所屬字段的第一字段標識；

響應于該數據寫入請求中的該第一字段標識命中配置信息，將該待寫入數據以行存儲形式寫入該數據存儲系統的行存儲空間，該配置信息中存儲有至少一個目標字段對應的目標字段標識，該目標字段所對應的寫入參數和查詢參數滿足參考條件；

將該行存儲空間中的增量數據同步至該數據存儲系統的列存儲空間，該列存儲空間中的數據以列存儲形式進行存儲。

本公開實施例提供的技術方案，通過在數據存儲系統中同時設置行存儲空間和列存儲空間，應用配置信息來配置各個字段的存儲形式，對于數據寫入需求較大的字段，直接以行存儲形式寫入到行存儲空間，從而能夠保證數據的寫入速度較快，再調用數據同步功能，將行存儲空間中更新的數據同步到列存儲空間中，使列存儲空間能夠存儲有完整的、最新的數據，從而能夠良好的支持數據查詢，保證數據查詢的速度較快。

在一種可能實現方式中，該將該行存儲空間中的增量數據同步至該數據存儲系統的列存儲空間之后，該方法還包括：

獲取該數據存儲系統的歷史操作數據，該歷史操作數據存儲有被操作數據所屬字段的字段標識和對應的數據操作；

基于該歷史操作數據，確定該數據存儲系統中字段所對應的寫入參數和查詢參數；

基于該字段所對應的寫入參數和查詢參數，在該字段中確定候選字段，該候選字段所對應的寫入參數和查詢參數滿足該參考條件；

基于該候選字段的字段標識，對該配置信息進行更新。

本公開實施例中，通過基于真實的歷史操作數據，對配置信息進行動態調整，也即是，對行存儲空間中所存儲的字段進行動態調整，能夠有效提高對數據存儲系統進行配置的靈活性，使數據存儲系統能夠更符合當前的業務需求，能夠有效解決不同寫入、查詢比例下，存儲空間的字段配置問題。

在一種可能實現方式中，該參考條件為寫入參數和查詢參數之間的比值大于或等于參考閾值。

在一種可能實現方式中，該基于該候選字段的字段標識，對該配置信息進行更新，包括：

將該候選字段的字段標識與該配置信息中存儲的目標字段標識進行匹配；

響應于該候選字段的字段標識與該目標字段標識不同，將該候選字段的字段標識添加至該配置信息中。