[發明專利]一種基于手機平臺的深度視頻壓縮框架的實現方法

在審

• 申請號: 202010104794.1
• 申請日: 2020-02-20
• 公開（公告）號: CN111263163A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 馮落落;李銳;喬廷慧
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: H04N19/42
• 分類號: H04N19/42;H04N19/51;H04N19/13;H04N19/124;G06K9/62
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 劉淑風

本發明提供一種基于手機平臺的深度視頻壓縮框架的實現方法，屬于圖像分類、目標檢測、人臉識別等領域，該方法的實現步驟如下：S1、搭建整個視頻壓縮網絡，使用多個不同場景的視頻進行模型的訓練，獲得一個訓練好的大網絡，然后把網絡的圖模型和參數信息進行保存；S2、然后把訓練好的模型進行剪枝和量化處理；S3、剪枝和量化都是對每一層分別進行，使用霍夫曼編碼對整個網絡中的權重進行霍夫曼編碼，然后進行存儲。本發明在精度損失不大的情況下，利用剪枝、量化和霍夫曼編碼對深度視頻壓縮模型進行壓縮，使得模型是原來的1/100倍左右，從而可以將基于深度學習的視頻壓縮框架很方便的部署到手機設備中。

技術領域

本發明涉及圖像分類、目標檢測、人臉識別等領域，具體地說是一種基于手機平臺的深度視頻壓縮框架的實現方法。

背景技術

如今，視頻成為大眾進行信息傳播的主要媒介。尤其是自媒體的發展，視頻數據呈爆發式的增長。基于深度學習的視頻壓縮方法目前已經成為最近研究的主流方向。基于深度學習的視頻壓縮方法已經成為目前的主流方法的H.264和H.265的有力競爭者。

但是基于深度學習的視頻壓縮方法往往參數量非常大，由于手機設備往往存儲量和計算力受限，所以根本無法部署到手機設備中，因此如何對部署到手機中的深度學習視頻壓縮算法進行壓縮，成為了關鍵問題。

發明內容

本發明的技術任務是解決現有深度學習視頻壓縮框架，非常大，很難部署到手機等嵌入式設備中的不足，提供一種基于手機平臺的深度視頻壓縮框架的實現方法。本發明在精度損失不大的情況下，利用剪枝、量化和霍夫曼編碼對深度視頻壓縮模型進行壓縮，從而使得基于深度學習的視頻壓縮框架部署到手機中。

本發明解決其技術問題所采用的技術方案是：

本專利主要提出利用剪枝、量化、霍夫曼編碼把表現優異的基于深度學習的視頻壓縮框架部署到手機平臺上。

1、一種基于手機平臺的深度視頻壓縮框架的實現方法，該方法的實現步驟如下：

S1、搭建整個視頻壓縮網絡，使用多個不同場景的視頻進行模型的訓練，然后使用5000多個不同場景的視頻進行模型的訓練，一共迭代100萬次，獲得一個訓練好的大網絡，然后把網絡的圖模型和參數信息進行保存；

S2、然后把訓練好的模型進行剪枝和量化處理；

S3、剪枝和量化都是對每一層分別進行，為了進一步減少存儲，使用霍夫曼編碼對整個網絡中的權重進行霍夫曼編碼，然后進行存儲。

方案優選地，步驟1中利用tensorflow框架搭建的視頻壓縮網絡，包括opticalFlow net、MV Encoder net、MV Decoder net、Motion Compensation Net、Residualencoder net、Residual decoder net這6個網絡，工作過程如下：

S101、將視頻拆分成每一幀圖片，輸入當前幀和上一重構幀到光流網絡Optical FlowNet，獲得當前幀的運動向量；

S102、然后把運動向量通過運動向量編碼網絡MV Encoder Net進行編碼，獲得編碼后的結果，

S103、再對編碼后的結果進行量化Q得到量化后的結果，作為當前幀所需要存儲的內容之一；

S104、把通過運動向量解碼網絡MV Decoder Net后的結果即當前幀的重構運動向量，和上一重構幀的圖片輸入到運動補償網絡Motion compensation Net 獲得當前幀的預測幀；

S105、使用真實幀和和預測幀進行相減，獲得預測幀沒能包括的殘差信息r_t；