[發明專利]一種數據存儲方法及裝置

在審

• 申請號: 202210452393.4
• 申請日: 2022-04-27
• 公開（公告）號: CN114661660A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 田莉萍;李偉辰
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/174;G06F16/172;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 吳磊

1.一種數據存儲方法，其特征在于，包括：

獲取第一待存儲數據，所述第一待存儲數據為存儲于網絡附屬存儲NAS系統的GZIP壓縮文件；

將所述第一待存儲數據轉存為第二待存儲數據，所述第二待存儲數據為存儲于Hadoop分布式文件系統的LZO壓縮文件；

確定待存儲任務，所述待存儲任務包括多個所述第二待存儲數據；

為所述待存儲任務分配任務執行參數；

按照所述任務執行參數并發讀取所述待存儲任務對應的多個所述第二待存儲數據，并對所述待存儲任務對應的數據進行存儲。

2.根據權利要求1所述的方法，其特征在于，所述確定待存儲任務，包括：

獲取待存儲任務隊列，所述待存儲任務隊列包括所述待存儲任務；

判斷是否存在空閑線程資源；若是，從所述待存儲任務隊列確定所述待存儲任務，若否，則返回所述判斷是否存在空閑線程資源。

3.根據權利要求1所述的方法，其特征在于，所述為所述待存儲任務分配任務執行參數，包括：

獲取所述待存儲任務中各個所述第二待存儲數據的大小；

確定所述待存儲任務的第一任務大小，所述第一任務大小為所述存儲任務中最大的所述第二待存儲數據的大小；

根據所述第一任務大小和任務執行參數集為所述待存儲任務分配所述任務執行參數，所述任務執行參數集預設有所述第一任務大小與所述任務執行參數的對應關系。

4.根據權利要求3所述的方法，其特征在于，所述任務執行參數包括excutor資源系數和DataFrame的repartition系數。

5.根據權利要求1所述的方法，其特征在于，所述按照所述任務執行參數并發讀取所述待存儲任務對應的多個所述第二待存儲數據，并對所述待存儲任務對應的數據進行存儲，包括：

基于Spark計算引擎讀取所述待存儲任務對應的多個所述第二待存儲數據得到第三待存儲數據，所述第三待存儲數據為彈性分布式數據集RDD；

對所述第三待存儲數據進行數據格式驗證以及編碼驗證；

當驗證通過，將所述第三存儲數據轉化為DataFrame，所述DataFrame按照所述任務執行參數并發寫入Hive數據倉庫。

6.一種數據存儲裝置，其特征在于，包括：

數據獲取模塊，用于獲取第一待存儲數據，所述第一待存儲數據為存儲于網絡附屬存儲NAS系統的GZIP壓縮文件；

數據轉存模塊，用于將所述第一待存儲數據轉存為第二待存儲數據，所述第二待存儲數據為存儲于Hadoop分布式文件系統的LZO壓縮文件；

任務確定模塊，用于確定待存儲任務，所述待存儲任務包括多個所述第二待存儲數據；

參數分配模塊，用于為所述待存儲任務分配任務執行參數；

任務存儲模塊，用于按照所述任務執行參數并發讀取所述待存儲任務對應的多個所述第二待存儲數據，并對所述待存儲任務對應的數據進行存儲。

7.根據權利要求6所述的裝置，其特征在于，所述參數分配模塊，具體用于：

獲取所述待存儲任務中各個所述第二待存儲數據的大小；

確定所述待存儲任務的第一任務大小，所述第一任務大小為所述存儲任務中最大的所述第二待存儲數據的大小；

根據所述第一任務大小和任務執行參數集為所述待存儲任務分配所述任務執行參數，所述任務執行參數集預設有所述第一任務大小與所述任務執行參數的對應關系，所述任務執行參數包括excutor資源系數和DataFrame的repartition系數。

8.根據權利要求6所述的裝置，其特征在于，所述任務存儲模塊，具體用于：

基于Spark計算引擎讀取所述待存儲任務對應的多個所述第二待存儲數據得到第三待存儲數據，所述第三待存儲數據為彈性分布式數據集RDD；

對所述第三待存儲數據進行數據格式驗證以及編碼驗證；

當驗證通過，將所述第三存儲數據轉化為DataFrame，所述DataFrame按照所述任務執行參數并發寫入Hive數據倉庫。