[發(fā)明專利]基于深度學(xué)習(xí)的快速壓縮立體視頻質(zhì)量評價方法

有效

• 申請?zhí)枺?/td>: 201910034440.1
• 申請日: 2019-01-15
• 公開（公告）號: CN109831664B
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計）人: 李素梅;馬帥
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106;H04N13/15;H04N13/156;G06T7/00;G06K9/00
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉國威

本發(fā)明屬于視頻和圖像處理領(lǐng)域，為基于人眼視覺機(jī)制，建立一種有效的基于深度學(xué)習(xí)的快速立體視頻質(zhì)量評價方法。此評價方法更加準(zhǔn)確高效，不僅貼近人眼質(zhì)量，還具有低時間成本，同時在一定程度上推動了立體成像技術(shù)、無人駕駛技術(shù)的發(fā)展。為此，本發(fā)明采取的技術(shù)方案是，基于深度學(xué)習(xí)的快速壓縮立體視頻質(zhì)量評價方法，首先，對立體視頻的左右視點(diǎn)進(jìn)行融合，得到單視點(diǎn)視頻，然后提取單視點(diǎn)視頻中的關(guān)鍵幀，關(guān)鍵幀與部分非關(guān)鍵幀一起作為卷積神經(jīng)網(wǎng)絡(luò)CNN的輸入，最后得到立體視頻的質(zhì)量。本發(fā)明主要應(yīng)用于視頻和圖像處理。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻和圖像處理領(lǐng)域，涉及到圖像融合、視頻關(guān)鍵幀提取方法的改進(jìn)優(yōu)化，以及深度學(xué)習(xí)在立體視頻質(zhì)量評價中的應(yīng)用。具體涉及基于深度學(xué)習(xí)的快速壓縮立體視頻質(zhì)量評價方法。

背景技術(shù)

隨著多媒體與網(wǎng)絡(luò)技術(shù)的快速發(fā)展，立體視頻已經(jīng)被廣泛地應(yīng)用在航空航天、醫(yī)療、教育、娛樂等多個領(lǐng)域。與此同時，壓縮、傳輸、顯示等眾多3D技術(shù)也應(yīng)運(yùn)而生。任何一種3D處理技術(shù)都可以造成立體視頻的失真，從而影響人們的觀看感受。如何度量立體視頻的失真程度，如何評價立體視頻的質(zhì)量，如何評價任何一種3D技術(shù)的質(zhì)量成為關(guān)鍵問題。立體視頻質(zhì)量評價方法可以解決上述的關(guān)鍵問題。本文提出一種壓縮立體視頻的質(zhì)量評價方法。因?yàn)閴嚎s技術(shù)是最重要的3D技術(shù)之一，也是產(chǎn)生失真的重要因素。

目前，已經(jīng)有大量的學(xué)者對立體視頻質(zhì)量評價方法展開研究。現(xiàn)有的立體視頻質(zhì)量評價方法都是基于傳統(tǒng)的手動提取特征的方法^[1,2,3,4,5]。早期的研究者^[6,7,8,9]通過應(yīng)用圖像質(zhì)量評價方法(SSIM^[10]、PSNR、C4^[11]、VSI^[12])得到立體視頻的每一幀圖像的質(zhì)量，再平均每一幀的質(zhì)量得到立體視頻左視點(diǎn)質(zhì)量和右視點(diǎn)質(zhì)量，最后平均左右視點(diǎn)的質(zhì)量得到立體視頻的質(zhì)量。這樣的做法顯然忽略了立體視頻中特有的信息和人眼視覺特性。后來，立體視頻中的空間信息、時域信息、深度信息以及視點(diǎn)間的相關(guān)性被注意到。大多數(shù)文章的做法與文獻(xiàn)[13][14]相類似，立體視頻的質(zhì)量由深度信息、時域信息和空間信息相結(jié)合得到。文獻(xiàn)[15]中，用深度感知質(zhì)量獨(dú)立地代表立體視頻的質(zhì)量。文獻(xiàn)[16]采用了顯著性與稀疏的方法獲得立體視頻的質(zhì)量，取得了重大突破。以上的方法都是針對所有失真類型的立體視頻質(zhì)量評價方法。但是，也有很多針對壓縮失真的立體視頻的質(zhì)量評價方法。比如，文獻(xiàn)[17]通過分別在空域和時域上考慮對比度和運(yùn)動掩蔽效應(yīng)得到壓縮立體視頻的質(zhì)量。文獻(xiàn)[18]在人眼視覺特性(HVS)的基礎(chǔ)上定義了人眼感興趣區(qū)域，通過在人眼感興趣區(qū)域上融合左右視點(diǎn)質(zhì)量和深度感知質(zhì)量獲得壓縮立體視頻的質(zhì)量。文獻(xiàn)[19]提出的方法來在非對稱的壓縮立體視頻的質(zhì)量的測量上取得了很好的效果。

所有上述提到的方法都是傳統(tǒng)的手動提取特征的方法。但是隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)已經(jīng)成功應(yīng)用到了眾多領(lǐng)域。文章[20][21]就將深度學(xué)習(xí)應(yīng)用到了平面視頻質(zhì)量評價領(lǐng)域。但是到目前為止，深度學(xué)習(xí)還沒有被應(yīng)用到立體視頻質(zhì)量評價領(lǐng)域。因此，本文提出用深度學(xué)習(xí)評價立體視頻質(zhì)量的方法。這種方法也被證明是符合立體視覺在人腦中處理過程的。文獻(xiàn)[22]已經(jīng)表明，人腦處理視覺信息的過程是分層的。在3D視覺信息通過瞳孔后，依次在大腦的V1區(qū)域提取邊緣信息，V2區(qū)域提取基本形狀或局部目標(biāo)，V3區(qū)域感知立體視覺^[23]，最終在V4區(qū)域感知細(xì)節(jié)并形成3D成像^[24]。而深度學(xué)習(xí)可以模仿視覺在人腦中的形成過程，通過網(wǎng)絡(luò)的加深完成復(fù)雜特征的抽象表達(dá)。因此，用深度學(xué)習(xí)方法提取的綜合特征可以彌補(bǔ)以往傳統(tǒng)方法手動提取的單特征表現(xiàn)不佳的缺點(diǎn)。

發(fā)明內(nèi)容