[發(fā)明專利]數(shù)據(jù)壓縮模型訓(xùn)練方法及裝置、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110812042.5
• 申請日: 2021-07-16
• 公開（公告）號: CN113687773B
• 公開（公告）日: 2023-08-11
• 發(fā)明（設(shè)計）人: 白智德;白志得;哈米德;黃坤;殷燕
• 申請（專利權(quán)）人: 深圳智慧林網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強

1.一種數(shù)據(jù)壓縮模型訓(xùn)練方法，其特征在于，所述方法包括：

讀取設(shè)定大小的數(shù)據(jù)塊；

分析在所述數(shù)據(jù)塊中增加冗余的可能性，具體為：利用RGA分析在數(shù)據(jù)的幾個較小部分中增加冗余的可能性；

確定在所述數(shù)據(jù)塊中生成冗余數(shù)據(jù)的函數(shù)的索引號，所述函數(shù)為RGA函數(shù)，該RGA函數(shù)用于負(fù)責(zé)通過操作數(shù)據(jù)塊來生成冗余，該操作將增加某個數(shù)據(jù)塊中重復(fù)值的數(shù)量；

采用所述索引號對應(yīng)的函數(shù)在所述數(shù)據(jù)塊中生成冗余數(shù)據(jù)，以獲得超出現(xiàn)有可能性的壓縮比。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分析在所述數(shù)據(jù)塊中增加冗余的可能性，包括：

根據(jù)所述數(shù)據(jù)塊的數(shù)據(jù)類型，分析在所述數(shù)據(jù)塊中增加冗余的可能性。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：

生成第一熱圖，所述第一熱圖包括在所述數(shù)據(jù)塊中冗余的m位長的高值數(shù)字，m為正整數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

將所述冗余數(shù)據(jù)存儲在所述數(shù)據(jù)塊中。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)概率預(yù)測算法，預(yù)測壓縮的數(shù)據(jù)塊的數(shù)量。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

對設(shè)定數(shù)量的數(shù)據(jù)塊進(jìn)行壓縮，所述數(shù)據(jù)塊來源于一個或多個文件；

生成第二熱圖，所述第二熱圖包括在所述數(shù)據(jù)塊中的n位長的高值數(shù)字，n∠m，n為正整數(shù)。

7.根據(jù)權(quán)利要求1、2、4～6中任一項所述的方法，其特征在于，所述方法還包括：

當(dāng)檢測到包含冗余數(shù)據(jù)的數(shù)據(jù)塊不適合永久存儲，則刪除所述包含冗余數(shù)據(jù)的數(shù)據(jù)塊。

8.一種數(shù)據(jù)壓縮模型訓(xùn)練裝置，其特征在于，所述裝置包括：

讀取單元，用于讀取設(shè)定大小的數(shù)據(jù)塊；

分析單元，用于分析在所述數(shù)據(jù)塊中增加冗余的可能性，具體為：利用RGA分析在數(shù)據(jù)的幾個較小部分中增加冗余的可能性；

確定單元，用于確定在所述數(shù)據(jù)塊中生成冗余數(shù)據(jù)的函數(shù)的索引號，所述函數(shù)為RGA函數(shù)，該RGA函數(shù)用于負(fù)責(zé)通過操作數(shù)據(jù)塊來生成冗余，該操作將增加某個數(shù)據(jù)塊中重復(fù)值的數(shù)量；

第一生成單元，用于采用所述索引號對應(yīng)的函數(shù)在所述數(shù)據(jù)塊中生成冗余數(shù)據(jù)，以獲得超出現(xiàn)有可能性的壓縮比。

9.一種數(shù)據(jù)壓縮模型訓(xùn)練裝置，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1～7中任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1～7中任一項所述的方法。