[發明專利]數據管理方法、裝置、服務器及存儲介質

在審

• 申請號: 202110327438.0
• 申請日: 2021-03-26
• 公開（公告）號: CN113515520A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 王福振
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 李娜

本公開是關于數據管理方法、裝置、服務器及存儲介質，該方法包括：接收數據存儲請求，數據存儲請求包括：一個或多個數據管理對象中第一數據管理對象的第一名稱字段、第一數據管理對象的數據；根據第一名稱字段，確定數據管理對象集合的名稱字段中與第一名稱字段匹配的第二名稱字段；依據數據管理對象集合的名稱字段與分區字段的對應關系，確定與第二名稱字段對應的目標分區字段；在目標分區字段標識的存儲分區存儲第一數據管理對象的數據。可以減少數據表中的分區的數量，進而可以減少在對數據管理對象的數據進行管理的過程中產生的分布式任務的數量，減少產生的小文件的數量，避免由于分區數量過多最終導致數據倉庫的性能降低的情況。

技術領域

本公開涉及運維領域，具體涉及數據管理方法、裝置、服務器及存儲介質。

背景技術

在利用數據倉庫中的數據表存儲多個對象例如多個APP的數據時，為避免在查詢數據時對整個數據表進行掃描，提升查詢速度，在對對象的數據進行管理的過程中，需要對數據表進行分區。

目前，通常采用的方式為：以對象為單位，為每一個對象分配各自的存儲分區，在對象的存儲分區存儲對象的數據。通過數據倉庫工具Hive產生相應的用于存儲數據的分布式任務，以將對象的數據存儲在相應的分區中，以及產生相應的用于查詢數據的分布式任務，以從相應的分區中查詢相應的數據。

然而，當對象數量多時，為每一個對象分配各自的存儲分區會導致分區數量多。由于在針對任意一個分區的任意一次數據存儲過程或數據查詢過程中，均需要由數據據倉庫工具Hive產生相應的分布式任務，每一個分布式任務在執行過程中均會生成一定數量的小文件，因此，分區數量多會導致產生的分布式任務的數量過多，產生的小文件的數量過多，處理小文件會占用過多的資源，最終導致數據倉庫的性能降低。

發明內容

為克服相關技術中存在的問題，本公開提供一種數據管理方法、裝置、服務器及存儲介質，以至少解決相關技術中的分區數量多導致產生的分布式任務的數量過多，產生的小文件的數量過多，數據倉庫的性能降低問題，本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種數據管理方法，包括：

接收數據存儲請求，所述數據存儲請求包括：一個或多個數據管理對象中第一數據管理對象的第一名稱字段、所述第一數據管理對象的數據；

根據所述第一名稱字段，確定數據管理對象集合的名稱字段中與所述第一名稱字段匹配的第二名稱字段；

依據所述數據管理對象集合的名稱字段與分區字段的對應關系，確定與所述第二名稱字段對應的目標分區字段；

在所述目標分區字段標識的存儲分區存儲所述第一數據管理對象的數據。

在一些實施例中，在接收數據存儲請求之前，所述方法還包括：

基于一個或多個數據管理對象中的每一個數據管理對象的數據量信息，將所述一個或多個數據管理對象劃分為一個或多個數據管理對象集合；

生成每一個數據管理對象集合的名稱字段，其中，對于每一個數據管理對象集合，所述數據管理對象集合中的每一個數據管理對象的名稱字段與所述數據管理對象集合的名稱字段具有關聯關系；

為每一個數據管理對象集合分配存儲分區，以及生成每一個數據管理對象集合的存儲分區的分區字段；

對于每一個數據管理對象集合，生成所述數據管理對象集合的名稱字段與所述數據管理對象集合的存儲分區的分區字段的對應關系。

在一些實施例中，所述基于一個或多個數據管理對象中的每一個數據管理對象的數據量信息，將所述一個或多個數據管理對象劃分為一個或多個數據管理對象集合包括：

采用預設聚類算法對所述一個或多個數據管理對象的數據量信息進行聚類，得到一個或多個聚類結果；