[發明專利]基于深度自動編碼器的視頻編解碼裝置及方法

有效

• 申請號: 201710068270.X
• 申請日: 2017-02-07
• 公開（公告）號: CN107046646B
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 陳天石;支天;羅宇哲;劉少禮;郭崎;陳云霽
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: H04N19/30
• 分類號: H04N19/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

1.一種基于深度自動編碼器的視頻編解碼裝置，其特征在于，包括：

深度自動編碼器模塊，包括深度自動編碼器，所述深度自動編碼器包括編碼端，所述編碼端用于對原始視頻進行首次壓縮得到首次壓縮數據；

神經網絡編解碼模塊，用于對解碼端參數進行編碼壓縮，生成編碼后的解碼端參數；

混合編解碼模塊，用于對首次壓縮數據和編碼后的解碼端參數進行混合編碼，得到視頻壓縮數據；

所述編碼端為N層人工神經網絡結構；所述N層人工神經網絡結構的第1層為輸入層，第2至N層為隱含層，層間單元全連接，層內單元無連接，第N層隱含層的隱單元數小于輸入層的輸入單元數；

所述解碼端是與編碼端結構對稱的N層人工神經網絡結構；所述解碼端的第n層為所述編碼端的第(N-n+1)層，所述解碼端第n層與第n+1層之間的權重矩陣，為所述編碼端第(N-n)層和第(N-n+1)層之間的權重矩陣的轉置，其中，1≤n≤N；

所述混合編碼包括熵編碼。

2.如權利要求1所述的視頻編解碼裝置，其特征在于，所述熵編碼包括哈夫曼編碼。

3.如權利要求1或2所述的視頻編解碼裝置，其特征在于，還包括：

存儲模塊，用于存儲所述首次壓縮數據、解碼端參數和視頻壓縮數據。

4.如權利要求3所述的視頻編解碼裝置，其特征在于，

所述神經網絡編解碼模塊用于從所述存儲模塊讀取所述解碼端參數，以對所述解碼端參數進行編碼壓縮。

5.如權利要求3所述的視頻編解碼裝置，其特征在于，

所述混合編解碼模塊用于從所述存儲模塊讀取所述首次壓縮數據，并從所述神經網絡編解碼模塊讀取編碼后的解碼端參數，以進行所述混合編碼，并將所述視頻壓縮數據存儲至所述存儲模塊。

6.如權利要求3所述的視頻編解碼裝置，其特征在于，所述深度自動編碼器還包括：解碼端；

所述混合編解碼模塊還用于對視頻壓縮數據進行解碼，得到首次解壓數據和編碼后的解碼端參數；

所述神經網絡編解碼模塊還用于對編碼后的解碼端參數進行解碼，得到解碼端參數；

所述解碼端用于對首次解壓數據解碼，得到原始視頻數據。

7.如權利要求6所述的視頻編解碼裝置，其特征在于，所述存儲模塊還用于存儲所述首次解壓數據、編碼后的解碼端參數和原始視頻數據。

8.如權利要求7所述的視頻編解碼裝置，其特征在于，

所述混合編解碼模塊還用于從所述存儲模塊讀取所述視頻壓縮數據，以對所述視頻壓縮數據進行解碼。

9.如權利要求7所述的視頻編解碼裝置，其特征在于，所述神經網絡編解碼模塊還用于從所述存儲模塊讀取所述編碼后的解碼端參數，以對所述編碼后的解碼端參數進行解碼。

10.如權利要求7所述的視頻編解碼裝置，其特征在于，所述深度自動編碼器模塊還用于從所述存儲模塊讀取所述首次解壓數據，從所述神經網絡編解碼模塊讀取所述解碼端的參數，以使所述解碼端對所述首次解壓數據解碼。

11.如權利要求1或2所述的視頻編解碼裝置，其特征在于，

所述深度自動編碼器模塊還用于初始化所述深度自動編碼器，并利用訓練用視頻對所述深度自動編碼器進行訓練，得到用于視頻編碼的深度自動編碼器。

12.如權利要求11所述的視頻編解碼裝置，其特征在于，所述深度自動編碼器模塊還用于利用訓練用視頻對所述深度自動編碼器進行訓練包括：

將所述深度自動編碼器編碼端的相鄰兩層作為一個限制玻爾茲曼機；

初始化所述限制玻爾茲曼機；

利用所述訓練用視頻數據對所述限制玻爾茲曼機進行訓練；

用反向傳播算法精細調整所述深度自動編碼器編碼端的權值矩陣，以最小化對原始輸入的重構誤差。