[發明專利]基于數據倉庫的文件移動方法、設備和存儲介質

在審

• 申請號: 202011036803.4
• 申請日: 2020-09-28
• 公開（公告）號: CN112115115A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 何鑫;王斌;呂電福
• 申請（專利權）人: 企查查科技有限公司
• 主分類號: G06F16/185
• 分類號: G06F16/185;G06F16/215;G06F16/28
• 代理公司: 蘇州威世朋知識產權代理事務所(普通合伙) 32235
• 代理人: 董燕

1.一種基于數據倉庫的文件移動方法，其特征在于，所述方法包括：

獲取待篩選的數據信息，將所述數據信息發送給可執行文件；

所述可執行文件根據預設的數據移動規則，對所述數據信息進行遍歷，得到待移動的數據信息；

所述可執行文件根據所述待移動的數據信息，從數據倉庫中得到所述待移動的數據信息指向熱存儲區域的映射路徑，將所述待移動的數據信息從熱存儲區域移動到冷存儲區域，并修改所述待移動的數據信息在數據倉庫中的映射路徑指向冷存儲區域。

2.根據權利要求1所述基于數據倉庫的文件移動方法，其特征在于，所述“所述可執行文件根據所述待移動的數據信息，從數據倉庫中得到所述待移動的數據信息指向熱存儲區域的映射路徑，將所述待移動的數據信息從熱存儲區域移動到冷存儲區域，并修改所述待移動的數據信息在數據倉庫中的映射路徑指向冷存儲區域”包括：

所述可執行文件根據所述待移動的數據信息，從數據倉庫中得到所述待移動數據信息指向熱存儲區域的映射路徑；

根據所述待移動的數據信息，在冷存儲區域根據預設的路徑生成規則生成對應的存儲路徑；

將所述待移動的數據信息從熱存儲區域復制到冷存儲區域對應的存儲路徑下；

修改所述待移動的數據信息在數據倉庫中的映射路徑，所述映射路徑指向冷存儲區域對應的存儲路徑；

刪除所述熱存儲區域中存儲的所述待移動的數據信息。

3.根據權利要求2所述基于數據倉庫的文件移動方法，其特征在于：

所述預設的路徑生成規則是根據存儲區域類型、日期和業務類型來生成路徑。

4.根據權利要求1所述基于數據倉庫的文件移動方法，其特征在于：

所述預設的數據移動規則，包括基于業務優先級進行移動、基于創建/訪問時間進行移動、基于數據分層進行移動，其中，所述預設的數據移動規則的優先級從高到低依次為基于業務優先級進行移動、基于創建/訪問時間進行移動、基于數據分層進行移動。

5.根據權利要求4所述基于數據倉庫的文件移動方法，其特征在于：

所述基于業務優先級進行移動，是指企業重要維度的數據信息存儲在熱存儲區域；

所述基于創建/訪問時間進行移動，是指將第一預定時段前創建的數據信息或第二預定時間段內沒有被訪問的數據信息，移動到冷數據存儲區域；

所述基于數據分層進行移動，是指將整個數據倉庫存儲的數據分為原始數據、清理過程數據和匯總數據，將所述原始數據存入冷數據存儲區域。

6.根據權利要求1所述基于數據倉庫的文件移動方法，其特征在于，所述“獲取待篩選的數據信息”包括：

在某個數據清洗任務成功完成后，獲取所述任務涉及的數據信息作為待篩選的數據信息。

7.根據權利要求1所述基于數據倉庫的文件移動方法，其特征在于，所述“獲取待篩選的數據信息”包括：

當定時時間到時，獲取數據倉庫中的所有數據庫與表作為待篩選的數據信息。

8.根據權利要求1所述基于數據倉庫的文件移動方法，其特征在于：

所述熱存儲區域為使用isilon存儲系統構建hdfs文件存儲系統；

所述冷存儲區域為使用S3協議構建的對象存儲系統。

9.一種電子設備，包括存儲器和處理器，所述存儲器存儲有可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1-8任意一項所述基于數據倉庫的文件移動方法中的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-8任意一項所述基于數據倉庫的文件移動方法中的步驟。