[發明專利]基于深度學習的快速壓縮立體視頻質量評價方法

有效

• 申請號: 201910034440.1
• 申請日: 2019-01-15
• 公開（公告）號: CN109831664B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 李素梅;馬帥
• 申請（專利權）人: 天津大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106;H04N13/15;H04N13/156;G06T7/00;G06K9/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明屬于視頻和圖像處理領域，為基于人眼視覺機制，建立一種有效的基于深度學習的快速立體視頻質量評價方法。此評價方法更加準確高效，不僅貼近人眼質量，還具有低時間成本，同時在一定程度上推動了立體成像技術、無人駕駛技術的發展。為此，本發明采取的技術方案是，基于深度學習的快速壓縮立體視頻質量評價方法，首先，對立體視頻的左右視點進行融合，得到單視點視頻，然后提取單視點視頻中的關鍵幀，關鍵幀與部分非關鍵幀一起作為卷積神經網絡CNN的輸入，最后得到立體視頻的質量。本發明主要應用于視頻和圖像處理。

技術領域

本發明屬于視頻和圖像處理領域，涉及到圖像融合、視頻關鍵幀提取方法的改進優化，以及深度學習在立體視頻質量評價中的應用。具體涉及基于深度學習的快速壓縮立體視頻質量評價方法。

背景技術

隨著多媒體與網絡技術的快速發展，立體視頻已經被廣泛地應用在航空航天、醫療、教育、娛樂等多個領域。與此同時，壓縮、傳輸、顯示等眾多3D技術也應運而生。任何一種3D處理技術都可以造成立體視頻的失真，從而影響人們的觀看感受。如何度量立體視頻的失真程度，如何評價立體視頻的質量，如何評價任何一種3D技術的質量成為關鍵問題。立體視頻質量評價方法可以解決上述的關鍵問題。本文提出一種壓縮立體視頻的質量評價方法。因為壓縮技術是最重要的3D技術之一，也是產生失真的重要因素。

目前，已經有大量的學者對立體視頻質量評價方法展開研究。現有的立體視頻質量評價方法都是基于傳統的手動提取特征的方法^[1,2,3,4,5]。早期的研究者^[6,7,8,9]通過應用圖像質量評價方法(SSIM^[10]、PSNR、C4^[11]、VSI^[12])得到立體視頻的每一幀圖像的質量，再平均每一幀的質量得到立體視頻左視點質量和右視點質量，最后平均左右視點的質量得到立體視頻的質量。這樣的做法顯然忽略了立體視頻中特有的信息和人眼視覺特性。后來，立體視頻中的空間信息、時域信息、深度信息以及視點間的相關性被注意到。大多數文章的做法與文獻[13][14]相類似，立體視頻的質量由深度信息、時域信息和空間信息相結合得到。文獻[15]中，用深度感知質量獨立地代表立體視頻的質量。文獻[16]采用了顯著性與稀疏的方法獲得立體視頻的質量，取得了重大突破。以上的方法都是針對所有失真類型的立體視頻質量評價方法。但是，也有很多針對壓縮失真的立體視頻的質量評價方法。比如，文獻[17]通過分別在空域和時域上考慮對比度和運動掩蔽效應得到壓縮立體視頻的質量。文獻[18]在人眼視覺特性(HVS)的基礎上定義了人眼感興趣區域，通過在人眼感興趣區域上融合左右視點質量和深度感知質量獲得壓縮立體視頻的質量。文獻[19]提出的方法來在非對稱的壓縮立體視頻的質量的測量上取得了很好的效果。

所有上述提到的方法都是傳統的手動提取特征的方法。但是隨著深度學習的發展，深度學習已經成功應用到了眾多領域。文章[20][21]就將深度學習應用到了平面視頻質量評價領域。但是到目前為止，深度學習還沒有被應用到立體視頻質量評價領域。因此，本文提出用深度學習評價立體視頻質量的方法。這種方法也被證明是符合立體視覺在人腦中處理過程的。文獻[22]已經表明，人腦處理視覺信息的過程是分層的。在3D視覺信息通過瞳孔后，依次在大腦的V1區域提取邊緣信息，V2區域提取基本形狀或局部目標，V3區域感知立體視覺^[23]，最終在V4區域感知細節并形成3D成像^[24]。而深度學習可以模仿視覺在人腦中的形成過程，通過網絡的加深完成復雜特征的抽象表達。因此，用深度學習方法提取的綜合特征可以彌補以往傳統方法手動提取的單特征表現不佳的缺點。

發明內容