[發明專利]數據管理方法和裝置、存儲介質

在審

• 申請號: 202211344978.0
• 申請日: 2022-10-31
• 公開（公告）號: CN115510048A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 李想;伍佳偉;許忠賢
• 申請（專利權）人: 江蘇徐工國重實驗室科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/27
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉劍波

本公開提供一種數據管理方法和裝置、存儲介質，涉及數據存儲領域。數據管理方法包括：與預定數據源建立連接；根據與預定業務屬性相關聯的存儲層級和業務域確定業務數據在分布式大數據存儲節點中的第一數據存儲位置；從數據源采集元數據；根據元數據從數據源采集業務數據；將所采集的業務數據存儲到第一數據存儲位置。

技術領域

本公開涉及通信領域，特別涉及一種數據管理方法和裝置、存儲介質。

背景技術

目前，企業采用的企業信息系統種類較多，這增加了企業數字化架構復雜度。此外，隨著多云環境的出現，硬件基礎設施從IT時代的服務器演變成數字化時代的“云”，多數企業選取多云策略，多云的使用可以讓企業信息架構更靈活，但同時也讓企業信息架構更為復雜，底層數據的互聯互通成為困擾企業發展的痛點。在大數據技術的大力發展下，信息系統中的數據實現了統一匯聚及存儲，但數據量的不斷增加，導致數據存儲越來越多，各種數據融合在一起，沒有規則的存儲方式無法支撐數據的快速定位，無法有效且快速的提取目標數據，無法很好地支撐企業經營決策，也無法很好的應對快速變化的前端業務。

目前，現有的研發數據存儲方式大多采用數據倉庫，通過數據采集將各個業務子系統匯聚到統一數據倉庫中，按照分層結構進行存儲。

發明內容

發明人注意到，現有的存儲方案對數據的支持性相對較弱，大多是匯聚結構化數據類型，且無法以業務導向自動化構建業務域存儲結構，無法支撐企業形成一套完整的研發數據資產目錄，對下游數據開發人員業務能力要求較高，維護成本高，數據開發應用成效及效率較低，復用能力弱，有大量的重復性工作。

據此，本公開提供一種數據管理方案，通過根據與預定業務屬性相關聯的存儲層級和業務域確定業務數據在分布式大數據存儲節點中的數據存儲位置，從而實現業務數據的分層分域存儲，由此可有效提升研發數據訪問效率及精確度，幫助企業構建數據資產目錄，提高數據的應用價值，為企業經營決策提供數據支撐。

根據本公開實施例的第一方面，提供一種數據管理方法，由數據管理裝置執行，包括：與預定數據源建立連接；根據與預定業務屬性相關聯的存儲層級和業務域確定業務數據在分布式大數據存儲節點中的第一數據存儲位置；從所述數據源采集元數據；根據所述元數據從所述數據源采集業務數據；將所采集的業務數據存儲到第一數據存儲位置。

在一些實施例中，將所采集的業務數據存儲到第一數據存儲位置包括：判斷第一數據存儲位置中的用于存儲業務數據的第一數據存儲目錄是否存在；若所述第一數據存儲目錄存在，則將所采集的業務數據存儲到所述第一數據存儲目錄中。

在一些實施例中，若所述第一數據存儲目錄不存在，則創建所述第一數據存儲目錄；將所采集的業務數據存儲到所述第一數據存儲目錄中。

在一些實施例中，從所述數據源采集元數據包括：從所述數據源獲取元數據；判斷所獲取的元數據是否完整；若所獲取的元數據不完整，則從所述數據源進行元數據補錄，以便獲得完整的元數據。

在一些實施例中，從所述分布式大數據存儲節點中提取與預定業務相關聯的業務數據；對提取的業務數據進行數據清洗和聚合處理，以得到聚合數據；根據與預定業務屬性相關聯的存儲層級和業務域確定聚合數據在分布式大數據存儲節點中的第二數據存儲位置；將聚合數據存儲到所述第二數據存儲位置。

在一些實施例中，將聚合數據存儲到所述第二數據存儲位置包括：判斷第二數據存儲位置中的用于存儲聚合數據的第二數據存儲目錄是否存在；若所述第二數據存儲目錄存在，則將聚合數據存儲到所述第二數據存儲目錄中。

在一些實施例中，若所述第二數據存儲目錄不存在，則創建所述第二數據存儲目錄；將聚合數據存儲到所述第二數據存儲目錄中。

在一些實施例中，所述存儲層級包括貼源層、加載層和應用層中的至少一項。