[發明專利]基于雙目融合網絡與顯著性的立體視頻質量評價方法

在審

• 申請號: 202011111464.1
• 申請日: 2020-10-16
• 公開（公告）號: CN112437291A
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 李素梅;李玟;馬帥
• 申請（專利權）人: 天津大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于雙目融合網絡與顯著性的立體視頻質量評價方法，其特征是，首先，對立體視頻的每一幀，通過計算其空間顯著性與時間顯著性生成顯著性圖片，并將得到的順序排列的顯著性圖片稱為左視頻時空顯著性特征流與右視頻時空顯著性特征流；然后，將左、右視頻時空顯著性特征流分別作為網絡的兩個輸入；然后，網絡自主地提取融合后的綜合特征；最后全連接層將高維的綜合特征映射到輸出域，得到立體視頻的質量分數。

2.如權利要求1所述的基于雙目融合網絡與顯著性的立體視頻質量評價方法，其特征是，具體將雙目融合網絡分為三個部分：左通道、右通道與融合通道，其中，左通道與右通道分別包含四個卷積層和兩個池化層，左通道用于提取純粹的左視點特征，右通道用于提取純粹的右視點特征，融合通道包含四個卷積層，三個池化層，三個全連接層和四個“加權模塊”，在左右通道的每個卷積層之后，將來自不同通道的所有特征圖輸入給“加權模塊”，用以給不同通道的特征圖分配權重，然后加權后的圖片被送往下一個卷積層來提取融合后的綜合特征，即雙目融合網絡既在淺層融合，也在高層融合，最后，立體視頻質量分數由全連接層將高維特征映射到輸出域得到。

3.如權利要求1所述的基于雙目融合網絡與顯著性的立體視頻質量評價方法，其特征是，雙目融合網絡既在淺層融合，也在高層融合，對于每次融合，先將所有的特征圖送入加權模塊用來對來自不同通道的特征圖加權，因為基于雙目競爭機制，左右視點確實被分配不同的權重；然后，加權后的圖片被送往下一個卷積層來提取融合后的綜合特征；另外，在融合通道，低層的輸出被傳遞給高層，對應著大腦中低級視覺區域的輸出是高級視覺區域輸入的事實；最后，高維特征被映射到輸出域得到每一幀的質量，平均所有幀的質量得到立體視頻的質量。

4.如權利要求1所述的基于雙目融合網絡與顯著性的立體視頻質量評價方法，其特征是，“加權模塊”由SE塊實現，“Concat”表示順序地串聯來自不同通道的特征圖，并獲得大小為高度×寬度×特征圖個數的輸入X，表示為X:H×W×C，其中H代表高度，W代表寬度，C代表特征圖個數；全局池化層將每個特征圖映射為一個數字，并通過后續的層學習權重；第一個全連接層把C個權重數字壓縮成了C/r個權重數字來降低計算量，其中r是縮放參數；經過激活函數ReLU后，第二個全連接層恢復回C個權重數字，最后經過激活函數sigmoid得到學習權重；在Scale層中，學習到的權重乘以對應的特征圖，得到與X大小相同的輸出將SE“權重塊”嵌入雙目融合網絡中，來實現為不同視圖的特征圖分配權重的功能，并盡可能模仿雙目競爭。

5.如權利要求1所述的基于雙目融合網絡與顯著性的立體視頻質量評價方法，其特征是，雙目融合網絡中的卷積操作被定義為(1)式：

F_l＝RELU(W_l*F_{lth_input}+B_l) (1)

在(1)式中，W_l與B_l分別代表第l層卷積層的權重與偏置，F_l代表第l層卷積層輸出的特征圖，F_{lth_input}代表第l層卷積層輸入的特征圖，ReLU為激活函數，*代表卷積操作，在利用反向傳播算法訓練網絡時，通過最小化損失函數來學習卷積層、池化層與全連接層的參數。