[發明專利]一種數據存儲方法及裝置

在審

• 申請號: 202210452393.4
• 申請日: 2022-04-27
• 公開（公告）號: CN114661660A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 田莉萍;李偉辰
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/174;G06F16/172;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 吳磊

本申請提供了一種數據存儲方法及裝置，獲取第一待存儲數據，所述第一待存儲數據為存儲于NAS系統的GZIP壓縮文件；將所述第一待存儲數據轉存為第二待存儲數據，所述第二待存儲數據為存儲于Hadoop分布式文件系統的LZO壓縮文件；確定待存儲任務，所述待存儲任務包括多個所述第二待存儲數據；為所述待存儲任務分配任務執行參數；按照所述任務執行參數并發讀取所述待存儲任務對應的多個所述第二待存儲數據，并對所述待存儲任務對應的數據進行存儲。利用LZO壓縮文件支持切片并發讀取的特點，為待存儲任務動態分配任務執行參數，最大化實現數據文件并發讀取及并發寫入的動態平衡，實現了較高的加載性能、較低的資源消耗。

技術領域

本發明涉及數據存儲技術領域，尤其涉及一種數據存儲方法及裝置。

背景技術

在大型企業內部，由于每日業務量巨大故會產生大量的數據，而這些業務數據如何入庫到企業統一的數據倉庫，是進行業務數據存儲分析挖掘的第一步。

針對大批量業務數據入庫，企業一般采取從企業級數據總線來獲取業務數據文件，且考慮到文件存儲傳輸性能，這些業務數據文件一般采取壓縮率較高的GZIP方式進行存儲，然后再通過加載數據文件進行數據入庫操作，因讀寫性能有限和計算資源分配不均的原因，海量數據入庫過程中存在數據入庫慢、入庫失敗的問題，且在資源有限的情況下，單個大文件的加載任務存在加載效率低、加載失敗率高的問題。

發明內容

有鑒于此，本發明提供了一種數據存儲方法及裝置，用以解決不同大小文件的加載效率問題，實現海量壓縮數據文件并發加載效率的提升。

其技術方案如下：

本申請第一方面提供一種數據存儲方法，包括：

獲取第一待存儲數據，所述第一待存儲數據為存儲于網絡附屬存儲NAS系統的GZIP壓縮文件；

將所述第一待存儲數據轉存為第二待存儲數據，所述第二待存儲數據為存儲于Hadoop分布式文件系統的LZO壓縮文件；

確定待存儲任務，所述待存儲任務包括多個所述第二待存儲數據；

為所述待存儲任務分配任務執行參數；

按照所述任務執行參數并發讀取所述待存儲任務對應的多個所述第二待存儲數據，并對所述待存儲任務對應的數據進行存儲。

優選的，所述確定待存儲任務，包括：

獲取待存儲任務隊列，所述待存儲任務隊列包括所述待存儲任務；

判斷是否存在空閑線程資源；若是，從所述待存儲任務隊列確定所述待存儲任務，若否，則返回所述判斷是否存在空閑線程資源。

優選的，所述為所述待存儲任務分配任務執行參數，包括：

獲取所述待存儲任務中各個所述第二待存儲數據的大??；

確定所述待存儲任務的第一任務大小，所述第一任務大小為所述存儲任務中最大的所述第二待存儲數據的大??；

根據所述第一任務大小和任務執行參數集為所述待存儲任務分配所述任務執行參數，所述任務執行參數集預設有所述第一任務大小與所述任務執行參數的對應關系。

優選的，所述任務執行參數包括excutor資源系數和DataFrame的repartition系數。

優選的，所述按照所述任務執行參數并發讀取所述待存儲任務對應的多個所述第二待存儲數據，并對所述待存儲任務對應的數據進行存儲，包括：

基于Spark計算引擎讀取所述待存儲任務對應的多個所述第二待存儲數據得到第三待存儲數據，所述第三待存儲數據為彈性分布式數據集RDD；

對所述第三待存儲數據進行數據格式驗證以及編碼驗證；