[發明專利]一種利用生成網絡提高幀速率上轉換效果的方法

在審

• 申請號: 201710902237.2
• 申請日: 2017-09-29
• 公開（公告）號: CN107613299A
• 公開（公告）日: 2018-01-19
• 發明（設計）人: 陳立鑫;顏成鋼;張永兵;朱翱宇
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: H04N19/176
• 分類號: H04N19/176;H04N19/149;H04N19/129;H04N19/587;H04N19/139
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙)33240
• 代理人: 朱月芬

技術領域

本發明涉及深度神經網絡領域和幀速率上轉換領域，尤其涉及CNN 結構網絡和殘差結構。

技術背景

視頻信息是人類最重要的信息源之一,在信號處理領域占有很大的比重。現存的視頻源其實質為活動的三維場景投影到二維平面后再對其進行空間時間采樣的結果。幀速率上轉換也稱作時間內插,是視頻格式轉換技術中的重要組成部分。它主要是用來實現不同幀速率顯示格式之間的轉換。例如,將以24幀/秒拍攝得到的電影膠片在60幀/秒以上高清晰度電視上播放,必須采用幀速率上轉換實現兩種格式之間的轉換。在低比特率視頻通信中,常需要降低傳輸幀率(降至每秒10或15幀), 幀速率上轉換作為必要的后處理工具負責在接收端恢復原幀速率。此外, 在無線視頻通信中,缺失幀的重構以及液晶顯示中為減小運動拖尾也需要進行幀率轉換。基于以上原因及應用,幀速率上轉換技術已經成為當前視頻格式轉換研究領域的一個新熱點。目前基于方向選擇的運動向量估計算法在幀率上轉化方面有非常好的效果，該算法解決了傳統的重構幀方法中的一些失真問題如：空洞，重疊等，另外它緩解了物體遮擋問題，即當畫面中有兩個物體重疊被遮擋的部分無法計算出運動矢量。該算法使用的雙向(即前后向)運動估計使得重構效果更好，并使用了新的度量方法使得到的向量的更可靠。該算法主要由下4個步驟組成1. 利用運動估計方法得出前向最優運動矢量v_f和后向的最優運動矢量v_b。 2.利用雙向加權運動矢量平滑化算法找出運動矢量中的異常值并糾正得到v_fc和v_bc。3.利用精化算法得到精化后的運動矢量，解決了向量換位導致的殘差問題4.在前后向精化后的運動向量中選擇SBAD值小的矢量作為最后的運動矢量。

另外，最近新發明的深度殘差學習結構能夠解決深度神經網絡在訓練過程中準確度隨網絡層數增加而下降的問題，使得網絡層數增加的同時錯誤率減小，也因此提高了網絡提取特征的水平。殘差網絡中最革新的一點是--它沒有選擇去擬合原始的函數H(x)，而是擬合H(x)的殘差函數--F(x)＝H(x)-x,這樣做能使得擬合過程更簡單，解決了梯度問題，最后實現空前的效果。

在神經網絡領域，基于對抗生成神經網絡的圖像超分辨率技術可以得到良好的效果，在《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》這篇論文中，作者構造了SRGAN(超辨率生成對抗神經網絡模型)，并且通過大量的數據集，使網絡學會了將一張低分辨率的圖象提高為高分辨率圖象，與一般的超分辨率技術相比SRGAN生成圖象的PSNR(峰值信噪比) 更高，這意味著圖片的質量更高。另外傳統的以MSE(均方誤差)為損失函數的技術所得到的圖象像素過于平滑，局部紋理細節較少，雖然在 PSNR上較低畫質圖象有很大提升，但在視覺感受上并沒有期望的區別，而在SRGAN中構造了一個對抗鑒別模型，并拋棄了傳統的損失函數轉而將內容損失函數和對抗損失函數結合為感知損失函數，使得生成的圖象紋理細節更多，讓人們在視覺感知上有了更強的感受。運用了其中生成網絡G被構造成一個前傳的CNN網絡，將數據集中的高分辨率圖象I^HR經過高斯濾波之后再經過下采樣得到一個對應的低分辨率的圖像I^LR。將該圖像首先經過了一個卷積層，這里用到64個大小為3*3的卷積核，且卷積核的步長為1，得到了64個特征圖.接著在經過激活層后，將得到的數據命名為x，傳統的網絡直接將x輸入后面的網絡中得到H(x)，但是論文的作者在網絡中加入了殘差結構，轉而將殘差F(x)＝H(x)-x 輸入到后續網絡中，并定義損失函數，反向傳遞誤差調整并得到最優的 F(x)，然后將F(x)與x相加得到H(x),經過后續一系列的操作后得到了高分辨率的圖象。值得注意的是，在提高圖像的PSNR上，單獨使用生成網絡G比使用對抗生成網絡的效果要好。這創新的模型啟發了我們借鑒SRGAN中的生成網絡G來提高幀速率上轉換后的圖像的質量。

發明內容