[發(fā)明專利]基于雙目融合網(wǎng)絡(luò)與顯著性的立體視頻質(zhì)量評(píng)價(jià)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910098123.6
• 申請(qǐng)日: 2019-01-31
• 公開（公告）號(hào): CN109714593A
• 公開（公告）日: 2019-05-03
• 發(fā)明（設(shè)計(jì)）人: 李素梅;馬帥
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): H04N17/00
• 分類號(hào): H04N17/00;H04N13/106
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉國威

1.一種基于雙目融合網(wǎng)絡(luò)與顯著性的立體視頻質(zhì)量評(píng)價(jià)方法，其特征是，首先通過計(jì)算包括空間顯著性與時(shí)間顯著性的立體視頻顯著性得到立體視頻每一幀的顯著圖片；得到的順序排列的顯著圖片被稱為左視頻的時(shí)空顯著性特征流與右視頻的時(shí)空顯著性特征流；然后，將左視頻的時(shí)空顯著性特征流與右視頻的時(shí)空顯著性特征流分別作為雙目融合網(wǎng)絡(luò)的兩個(gè)輸入；最后的立體視頻質(zhì)量由雙目融合網(wǎng)絡(luò)綜合性地分析空間、時(shí)間與深度特征獲得。

2.如權(quán)利要求1所述的基于雙目融合網(wǎng)絡(luò)與顯著性的立體視頻質(zhì)量評(píng)價(jià)方法，其特征是，所提出的雙目融合網(wǎng)絡(luò)整體框架基于Alexnet網(wǎng)絡(luò)搭建，雙目融合網(wǎng)絡(luò)被分為三個(gè)部分：左通道、右通道與融合通道；其中，左通道與右通道分別包含四個(gè)卷積層與兩個(gè)池化層，左通道用于提取純粹的左視點(diǎn)特征，右通道用于提取純粹的右視點(diǎn)特征，融合通道包含四個(gè)卷積層，三個(gè)池化層與三個(gè)全連接層，在左右通道的每次卷積操作之后均有一次融合操作，故融合通道共有四次融合，這四次融合與大腦V1、V2、V3、V4四個(gè)區(qū)域的深度感知相對(duì)應(yīng)，即雙目融合網(wǎng)絡(luò)既在淺層融合，也在高層融合，顯然，融合通道用于提取深度特征，最后，立體視頻質(zhì)量分?jǐn)?shù)由全連接層將高維特征映射到輸出域得到。

3.如權(quán)利要求1所述的基于雙目融合網(wǎng)絡(luò)與顯著性的立體視頻質(zhì)量評(píng)價(jià)方法，其特征是，融合操作方式是“合并”即，將特征圖合并后輸入到下一層，而不是將特征圖的對(duì)應(yīng)像素點(diǎn)相加。

4.如權(quán)利要求2所述的基于雙目融合網(wǎng)絡(luò)與顯著性的立體視頻質(zhì)量評(píng)價(jià)方法，其特征是，卷積操作被定義為(6)

F_l＝RELU(W_l*F_{lth_input}+B_l) (6)

在(6)中，W_l與B_l分別代表第l層卷積層的權(quán)重與偏執(zhí)，F(xiàn)_l代表第l層卷積層輸出的特征圖，F(xiàn)_{lth_input}代表第l層卷積層的輸入，RELU為激活函數(shù)，*代表卷積操作。

5.如權(quán)利要求2所述的基于雙目融合網(wǎng)絡(luò)與顯著性的立體視頻質(zhì)量評(píng)價(jià)方法，其特征是，雙目融合網(wǎng)絡(luò)中的所有池化層都為最大池化，在利用反向傳播算法訓(xùn)練網(wǎng)絡(luò)時(shí)，通過最小化損失函數(shù)來學(xué)習(xí)卷積層、池化層與全連接層的參數(shù)，雙目融合網(wǎng)絡(luò)使用歐幾里得函數(shù)，如公式(7)所示：

在(7)中，Y_i與y_i分別代表樣本i的期望輸出與真實(shí)輸出，n代表批處理的大小。