[發(fā)明專利]一種視覺顯著性預(yù)測(cè)方法及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010789004.8
• 申請(qǐng)日: 2020-08-07
• 公開（公告）號(hào): CN112040222B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 廖建鑫;鄒文斌;莊越;卓圣楷;鄒輝;李霞;袁濤
• 申請(qǐng)（專利權(quán)）人: 深圳大學(xué);深圳市慧視智聯(lián)科技有限公司
• 主分類號(hào): H04N17/00
• 分類號(hào): H04N17/00;G06T7/00
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 朱陽波

1.一種視覺顯著性預(yù)測(cè)方法，其特征在于，包括：

獲取待檢測(cè)視頻；所述待檢測(cè)視頻含有多個(gè)視頻幀，且多個(gè)所述視頻幀中均含有目標(biāo)注視物；

將待檢測(cè)視頻輸入已訓(xùn)練的顯著性預(yù)測(cè)模型，得到與所述待檢測(cè)視頻相對(duì)應(yīng)的顯著性圖；

其中，所述顯著性預(yù)測(cè)模型包括編碼端和解碼端；

所述編碼端包括多個(gè)用于分配各個(gè)視頻幀所占權(quán)重的幀間注意力模塊，所述解碼端包括多個(gè)用于對(duì)輸入的空間特征上采樣和對(duì)輸入的時(shí)間特征降維的自適應(yīng)上采樣模塊；

所述編碼端還包括：至少一個(gè)三維卷積塊和至少一個(gè)空間特征提取塊；其中，所述空間特征提取塊包括：設(shè)置有所述幀間注意力模塊的幀間注意力模組和三維最大池化層；

所述將待檢測(cè)視頻輸入已訓(xùn)練的顯著性預(yù)測(cè)模型，得到與所述待檢測(cè)視頻相對(duì)應(yīng)的顯著性圖的步驟包括：

依次將所述待檢測(cè)視頻中的各個(gè)視頻幀輸入所述三維卷積塊，通過所述三維卷積塊得到與各個(gè)視頻幀對(duì)應(yīng)的多個(gè)淺層特征；

依次將各個(gè)所述淺層特征輸入至所述空間特征提取塊，通過所述空間特征提取塊得到與各個(gè)視頻幀對(duì)應(yīng)的多個(gè)深層特征；

將各個(gè)深層特征輸入至所述解碼端，通過所述解碼端得到與各個(gè)視頻幀分別對(duì)應(yīng)的顯著性圖；

所述幀間注意力模組包括：三維可分離Inception卷積模塊和幀間注意力模塊；

所述依次將各個(gè)所述淺層特征輸入至所述空間特征提取塊，通過所述空間特征提取塊得到與各個(gè)視頻幀對(duì)應(yīng)的多個(gè)深層特征的步驟包括：

依次將各個(gè)所述淺層特征輸入至第一空間特征提取塊中的第一三維最大池化層，得到所述第一三維最大池化層輸出的多個(gè)第一特征圖；

將多個(gè)所述第一特征圖輸入至第一空間特征提取塊中的第一三維可分離Inception卷積模塊，得到所述第一三維可分離Inception卷積模塊輸出的多個(gè)第二特征圖；

將多個(gè)所述第二特征圖沿通道方向疊加后輸入至第一空間特征提取塊的第一幀間注意力模塊，得到所述第一幀間注意力模塊輸出的第三特征圖；

將所述第三特征圖輸入第二空間特征提取塊的第二三維最大池化層，得到所述第二三維最大池化層輸出的第四特征圖；

將所述第四特征圖輸入至第二空間特征提取塊中的第二三維可分離Inception卷積模塊，得到所述第二三維可分離Inception卷積模塊輸出的多個(gè)第五特征圖；

將多個(gè)所述第五特征圖沿通道方向疊加后輸入到第二空間特征提取塊的第二幀間注意力模塊，得到所述第二幀間注意力模塊輸出的第六特征圖；

重復(fù)上述將前一個(gè)空間特征提取塊中輸出的特征圖輸入至后一個(gè)空間特征提取塊的步驟，直至第K空間特征提取塊輸出第3K特征圖；所述第3K特征圖為所述深層特征，其中，K為正整數(shù)；

所述幀間注意力模塊包括全局最大池化層和非線性激活層；

所述將多個(gè)所述第二特征圖沿通道方向疊加后輸入至第一空間特征提取塊的第一幀間注意力模塊，得到所述第一幀間注意力模塊輸出的第三特征圖的步驟包括：

將所述第二特征圖依次輸入至所述全局最大池化層和非線性激活層，得到所述非線性激活層輸出的與第二特征圖對(duì)應(yīng)的各個(gè)視頻幀的權(quán)重；

利用各個(gè)視頻幀對(duì)應(yīng)的權(quán)重對(duì)各個(gè)所述第二特征圖進(jìn)行加權(quán)后，計(jì)算加權(quán)和，得到各個(gè)所述第一幀間注意力模塊輸出的第三特征圖；

所述自適應(yīng)上采樣模塊包括上采樣核預(yù)測(cè)單元、特征組合單元和第五卷積層；

將各個(gè)第一上采樣特征圖依次輸入各個(gè)所述自適應(yīng)上采樣模塊，得到最后一個(gè)所述自適應(yīng)上采樣模塊輸出的與各個(gè)所述視頻幀對(duì)應(yīng)的顯著性圖的步驟包括：

將各個(gè)所述第一上采樣特征圖輸入至所述上采樣核預(yù)測(cè)單元，并將所述上采樣核預(yù)測(cè)單元輸出的多個(gè)目標(biāo)像素權(quán)重與所述第一上采樣特征圖同步輸入至特征重組單元，得到所述特征重組單元輸出的上采樣結(jié)果特征圖；

將所述上采樣結(jié)果特征圖輸入至所述第五卷積層，通過第五卷積層得到第二上采樣特征圖；

重復(fù)將前一個(gè)自適應(yīng)上采樣模塊輸出的特征圖輸入至后一個(gè)自適應(yīng)上采樣模塊的步驟，直至第N自適應(yīng)上采樣模塊輸出與各個(gè)視頻幀對(duì)應(yīng)的顯著性圖，其中N為正整數(shù)。

2.根據(jù)權(quán)利要求1所述的視覺顯著性預(yù)測(cè)方法，其特征在于，所述解碼端包括至少一個(gè)1×1×1卷積層、至少一個(gè)三維反卷積塊和與所述三維反卷積塊個(gè)數(shù)相同的三維最大反池化層以及至少一個(gè)自適應(yīng)上采樣模塊；其中，各個(gè)所述三維反卷積塊和各個(gè)三維最大反池化層的尺度不同，相同尺度的所述三維反卷積塊與所述三維最大反池化層一一對(duì)應(yīng)相連接。