[發明專利]一種神經網絡參數壓縮方法及相關裝置

在審

• 申請號: 201910402406.5
• 申請日: 2019-05-15
• 公開（公告）號: CN110276438A
• 公開（公告）日: 2019-09-24
• 發明（設計）人: 何施茗;李卓宙;唐楊寧;王進;鄧玉芳;陳啟民
• 申請（專利權）人: 長沙理工大學
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本申請公開了一種神經網絡參數壓縮方法，包括：對低階輸入數據進行升階處理，得到高階輸入數據；對所述高階輸入數據進行張量分解處理，得到高階輸出結果；根據所述低階輸入數據的階數對所述高階輸出結果進行展開處理，得到低階輸出結果。通過將低階輸入數據升階為高階輸入數據，然后再對高階輸入數據進行張量分解處理，最后將張量分解的結果展開為低階輸入數據相同階數的參數，實現對低階輸入數據進行壓縮，降低神經網絡處理時的數據量，提高性能利用率。本申請還公開了一種神經網絡參數壓縮裝置、計算機設備以及計算機可讀存儲介質，具有以上有益效果。

技術領域

本申請涉及計算機技術領域，特別涉及一種神經網絡參數壓縮方法、神 經網絡參數壓縮裝置、計算機設備以及計算機可讀存儲介質。

背景技術

隨著信息技術的不斷發展，在深度學習領域出現了多種多樣的參數處理 方式，以提高深度學習過程的性能。

現有技術中通常采用張量分解處理對參數進行參數壓縮處理。一般的， 張量分解處理包括CP分解處理和Tucker分解處理。其中，Tucker分解處理是將 張量分解為核心張量和三個因子矩陣，以便對神經網絡的參數進行分解。當 神經網絡的參數階數越高時進行Tucker分解處理的壓縮性能越高。但是，當神 經網絡參數的階數越低時，壓縮性能越低。也就是，將Tucker分解處理應用在 低階輸入數據時，例如采用Tucker對一階參數進行參數壓縮時，對于等量的數 據量進行壓縮后的壓縮性能最低，無法通過Tucker計算得到很好的壓縮結果。 進而在對低階輸入數據進行神經網絡學習時，由于壓縮效果較低，需要處理 的壓縮量較高，降低性能利用率。

因此，如何提高神經網絡對低階輸入數據的壓縮效果是本領域技術人員 關注的重點問題。

發明內容

本申請的目的是提供一種神經網絡參數壓縮方法、神經網絡參數壓縮裝 置、計算機設備以及計算機可讀存儲介質，通過將低階輸入數據升階為高階 輸入數據，然后再對高階輸入數據進行張量分解處理，最后將張量分解的結 果展開為低階輸入數據相同階數的參數，實現對低階輸入數據進行壓縮，降 低神經網絡處理時的數據量，提高性能利用率。

為解決上述技術問題，本申請提供一種神經網絡參數壓縮方法，包括：

對低階輸入數據進行升階處理，得到高階輸入數據；

對所述高階輸入數據進行張量分解處理，得到高階輸出結果；

根據所述低階輸入數據的階數對所述高階輸出結果進行展開處理，得到 低階輸出結果。

可選的，對低階輸入數據進行升階處理，得到高階輸入數據，包括：

根據預設約束規則確定所述低階輸入數據的升階值；

根據所述升階值對所述低階輸入數據進行升階處理，得到所述高階輸入 數據。

可選的，根據預設約束規則確定所述低階輸入數據的升階值，包括：

根據所述預設約束規則確定升階值不等式；

對所述升階值不等式進行求取極值處理，得到所述升階值。

可選的，對所述高階輸入數據進行張量分解處理，得到高階輸出結果， 包括：

對所述高階輸入數據進行Tucker分解處理，得到所述高階輸出結果。

可選的，對所述高階輸入數據進行張量分解處理，得到高階輸出結果， 包括：

對所述高階輸入數據進行CP分解處理，得到所述高階輸出結果。

本申請還提供一種神經網絡參數壓縮裝置，包括：

升階處理模塊，用于對低階輸入數據進行升階處理，得到高階輸入數據；