[發明專利]神經網絡壓縮的方法、數據處理的方法及相關裝置

在審

• 申請號: 202010105175.4
• 申請日: 2020-02-20
• 公開（公告）號: CN111382867A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 舒晗;陳漢亭;王云鶴;許春景
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06F17/14
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 王龍華;章愫

本申請提供一種神經網絡壓縮的方法、數據處理的方法及相關裝置。涉及人工智能領域，具體涉及計算機視覺領域。該方法包括：對待壓縮的三維卷積神經網絡包括的第一三維卷積核執行以下操作：在該第一三維卷積核的時間維度上對該第一三維卷積核進行正交變換；根據正交變換后的該第一三維卷積核在時間維度上的稀疏性，對該第一三維卷積核的時間維度進行剪枝，得到壓縮后的三維卷積神經網絡。本申請通過在待壓縮的三維卷積神經網絡的三維卷積核的時間維度上對該三維卷積核進行正交變換，并對正交變換后的三維卷積核的稀疏的時間維度進行剪枝，相對于現有技術，可以進一步減少三維卷積神經網絡的參數量與計算量。

技術領域

本申請涉及人工智能技術領域，特別涉及一種神經網絡壓縮的方法、數據處理的方法及相關裝置。

背景技術

三維卷積神經網絡(convolutional neural networks，CNN)的輸入是視頻(或多幀圖像)，因此，三維卷積(3 dimension convolution，3D CONV)除了在高、寬的空間上進行滑動，還在時間維度(或稱為深度維度)上進行滑動。因為三維卷積考慮了視頻或多幀圖像的時間維度之間的相互信息，三維卷積適合于視頻領域和三維圖像領域的相關處理。

業界提出針對卷積神經網絡模型的壓縮，以減少卷積神經網絡的參數量和計算量。當前技術中，針對三維卷積神經網絡模型的壓縮，是通過遷移二維卷積神經網絡模型的壓縮方法來實現的，這樣做，不能有效地減少三維卷積神經網絡的計算量。

進一步減少三維卷積神經網絡的計算量，是亟需解決的技術問題。

發明內容

本申請提供一種神經網絡壓縮的方法、數據處理的方法及相關裝置，相對于現有技術，可以進一步減少三維卷積神經網絡的參數量與計算量。

第一方面，提供一種神經網絡壓縮的方法，所述方法包括：對待壓縮的三維卷積神經網絡包括的第一三維卷積核執行以下操作：在該第一三維卷積核的時間維度上對該第一三維卷積核進行正交變換；根據正交變換后的該第一三維卷積核在時間維度上的稀疏性，對該第一三維卷積核的時間維度進行剪枝，得到壓縮后的三維卷積神經網絡。

在第一三維卷積核的時間維度上對該第一三維卷積核進行正交變換，表示，對第一三維卷積核的每個時間點上的二維卷積核做正交變換。

三維卷積核在時間維度上具有相似性，通過在三維卷積核的時間維度上對三維卷積核進行正交變換，可以使得具有較大相似性的二維卷積核(指的是，三維卷積核中各個時間點上的二維卷積核)呈現出稀疏性，從而可以刪掉較為稀疏的二維卷積核，實現對三維卷積核的時間維度上的剪枝。

本申請通過在待壓縮的三維卷積神經網絡的三維卷積核的時間維度上對該三維卷積核進行正交變換，從而可以對正交變換后的三維卷積核中稀疏的時間維度進行剪枝，相對于現有技術，可以進一步減少三維卷積神經網絡的參數量，因此，可以有效減少三維卷積神經網絡的計算量。

結合第一方面，在第一方面的一種可能的實現方式中，所述在第一三維卷積核的時間維度上對該第一三維卷積核進行正交變換，包括：采用正交矩陣，在該第一三維卷積核的時間維度上對該第一三維卷積核進行正交變換，。

所述正交矩陣的獲取方法可以有多種。

作為一種可選的實施方式，所述正交矩陣通過對三維卷積核進行離散余弦變換(discrete cosine transform，DCT)得到。

作為另一種可選的實施方式，所述正交矩陣通過學習得到。所述正交矩陣是通過目標優化函數學習得到的，該目標優化函數包括第一項與第二項，該第一項使得該正交變換可逆，該第二項使得該正交變換后的該第一三維卷積核在時間維度是稀疏的。

作為一種實施方式，用于學習正交矩陣的目標優化函數可以為如下目標優化函數(1)。

目標優化函數(1)