[發明專利]基于雙目融合網絡與顯著性的立體視頻質量評價方法

在審

• 申請號: 201910098123.6
• 申請日: 2019-01-31
• 公開（公告）號: CN109714593A
• 公開（公告）日: 2019-05-03
• 發明（設計）人: 李素梅;馬帥
• 申請（專利權）人: 天津大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明屬于視頻和圖像處理領域，為建立一種有效的立體視頻質量評價方法，且貼合人眼對立體視覺的感知，同時在一定程度上推動了立體成像技術、無人駕駛技術的發展。為此，本發明采取的技術方案是，基于雙目融合網絡與顯著性的立體視頻質量評價方法，首先通過計算包括空間顯著性與時間顯著性的立體視頻顯著性得到立體視頻每一幀的顯著圖片；得到的順序排列的顯著圖片被稱為左視頻的時空顯著性特征流與右視頻的時空顯著性特征流；然后，將左視頻的時空顯著性特征流與右視頻的時空顯著性特征流分別作為雙目融合網絡的兩個輸入；最后的立體視頻質量由雙目融合網絡綜合性地分析空間、時間與深度特征獲得。本發明主要應用于圖像處理場合。

技術領域

本發明屬于視頻和圖像處理領域，涉及到視頻時空顯著性的計算，以及深度學習在立體視頻質量評價中的應用。具體講涉及基于雙目融合網絡與顯著性的立體視頻質量評價方法。

背景技術

立體視頻已經廣范地應用在人類生活的各個領域。相應的，一系列立體視頻處理技術也隨之而來，并對立體內容造成不同程度的失真。一個有效的立體視頻質量評價算法不僅可以很好地評價立體視頻的失真程度，而且能夠為一系列的3D技術提供技術支持。因此，立體視頻的質量評價方法研究是一項有意義的任務。同時，立體視頻的質量評價方法研究也是一項有挑戰性的任務。因為立體視頻質量包含空間、時間、深度這些不同的維度的質量，尤其是雙目產生的深度感知，目前還不能準確地度量。因此，本發明提出一種基于雙目融合網絡的立體視頻質量評價方法。

目前，存在的立體視頻質量評價方法可被分為三類：傳統的方法、基于稀疏的方法和基于深度學習的方法。在傳統方法中，大多數的方法都類似于[1]-[5]：綜合時間特征、空間特征與深度特征得到立體視頻的質量。在基于稀疏的方法中，文獻[6]使用顯著與稀疏的測量立體視頻的質量。在基于深度學習的方法中，文獻[7]通過搭建3D CNN網絡來自動提取立體視頻中的時空信息。文獻[8]將來自左右視點每一幀的圖像塊對輸入到雙流網絡，并使用時空匯聚策略評價立體視頻質量。

以上文獻均使用了不同的方法來處理兩視點間的相關性，但是都不盡如人意。文獻[6][7]首先將左右視點進行簡單的“加和”或“做差”，然后像2D視頻一樣處理得到質量分數。而文獻[1][2][3][8]在最后一步將左右視點的質量進行加權。這些文獻的視點間處理方式都過于簡單，且忽視了大腦的視覺融合機制。文獻[4][5]根據視點間相關性提取深度特征。但是手動提取的特征不完全符合大腦分層提取視覺信息的事實[9]，且在提取視覺信息的過程中始終都伴隨著雙目融合與雙目競爭現象。

本發明的設計靈感來源于大腦皮層對3D視覺信號的響應原理。具體地說，當大腦處理立體視覺時，雙目視差首先在初級視覺皮層V1區域形成。進一步地，次級視覺皮層V2中的視差選擇性神經增強深度感知。然后，3D視覺刺激導致視覺皮層V3區域激活[10]。V4視覺區域在精細的深度感知與3D成像方面起著至關重要的作用[11]。因此，神經元對雙目視差與深度感知的響應存在于低層視覺區域與高層視覺區域。此外，雙目競爭涉及低層視覺區域與高層視覺區域的神經競爭[12][13][14]，以及V1、V2、V3和V4區域神經元活性的增強[15]。它們是與雙目視差與深度感知在視覺皮層的反映一致的。

本發明完全根據雙目視覺機制設計提出的雙目融合網絡。網絡的兩個輸入對應人的兩個眼睛。網絡在低層與高層的融合對應深度感知在大腦低層與高層的響應。一種特定的融合方式對應著雙目競爭。

為了反映視頻時間與空間上的相關性，本發明選擇時空顯著性特征流作為網絡的輸入。時空顯著性特征流通過計算視頻的時間顯著性與空間顯著性得到，這也與空間與時間不是互相獨立的理論是一致的。因為空間像素的變化為時域提供了運動信息與注意機制，反過來，時間流反映了視頻中的空間顯著性。

本發明提出了一種基于雙目融合網絡與顯著性的立體視頻質量評價方法。首先，提出的雙目融合網絡完全模仿雙目視覺機制，自主地學習深度感知。其次，將時空顯著性特征流作為網絡的輸入，確保網絡能夠綜合性地學習與分析空間、時間與深度特征。

發明內容