[發(fā)明專利]基于注意力感知特征的全景圖像顯著性預(yù)測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010171611.8
• 申請日: 2020-03-12
• 公開（公告）號: CN111539420B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計(jì)）人: 楊小康;朱丹丹;閔雄闊;朱文瀚;朱煜程;翟廣濤
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/80;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 上海恒慧知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種基于注意力感知特征融合的全景圖像顯著性預(yù)測方法，其特征在于，包括：

預(yù)測全景圖像的前景注意力圖和背景注意力圖；

計(jì)算預(yù)測的所述前景注意力圖、所述背景注意力圖中每一部分的逐像素的亮度值，得到可視化分?jǐn)?shù)；

提取全景圖像的全局特征，將所述全局特征與預(yù)測的所述前景注意力圖、所述背景注意力圖使用逐元素乘的方式進(jìn)行融合，得到融合后的所述前景注意力圖、所述背景注意力圖；

將融合后的所述前景注意力圖、所述背景注意力圖與所述可視化分?jǐn)?shù)加權(quán)融合，獲得最終的預(yù)測結(jié)果；

所述預(yù)測全景圖像的前景注意力圖和背景注意力圖，是通過基于ResNet50網(wǎng)絡(luò)的兩階段預(yù)測分別得到全景圖像的前景注意力圖和背景注意力圖；其中，

在第一階段進(jìn)行預(yù)測的公式如下：

其中，M^PA是通過ResNet50網(wǎng)絡(luò)第一階段預(yù)測得到的特征圖，和表示兩個(gè)獨(dú)立的預(yù)測網(wǎng)絡(luò)，F(xiàn)¹和B¹分別表示得到的前景注意力圖和背景注意力圖；

在第二階段，對第一階段得到的前景注意力圖和背景注意力圖進(jìn)行增強(qiáng)，其具體的計(jì)算如下：

通過上式計(jì)算得到預(yù)測的前景注意力圖F^att和背景注意力圖B^att；M是在第二階段經(jīng)過ResNet50網(wǎng)絡(luò)預(yù)測得到的特征圖；和表示在第二階段的兩個(gè)預(yù)測網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的基于注意力感知特征融合的全景圖像顯著性預(yù)測方法，其特征在于，所述計(jì)算預(yù)測的所述前景注意力圖、所述背景注意力圖中每一部分的逐像素的亮度值，其中：利用所述前景注意力圖、所述背景注意力圖中每個(gè)像素的亮度值表示可視化分?jǐn)?shù)；

定義全局可視化分?jǐn)?shù)分別表示所述前景注意力圖、所述背景注意力圖中每一部分的可視化分?jǐn)?shù)，計(jì)算公式如下：

其中，(x₀,y₀)和(x',y')分別表示在所述前景注意力圖、所述背景注意力圖中的像素點(diǎn)，p和q分別表示前景注意力圖和背景注意力圖中像素點(diǎn)的集合。

3.根據(jù)權(quán)利要求1所述的基于注意力感知特征融合的全景圖像顯著性預(yù)測方法，其特征在于，所述提取全景圖像的全局特征，是通過改進(jìn)的帶有注意力機(jī)制的ResNet50網(wǎng)絡(luò)執(zhí)行的，其中，所述帶有注意力機(jī)制的ResNet50網(wǎng)絡(luò)：

在ResNet50網(wǎng)絡(luò)的最后一層添加一個(gè)16通道的1×1的卷積核；

將輸入全景圖像的大小從224×224調(diào)整為256×128。

4.根據(jù)權(quán)利要求3所述的基于注意力感知特征融合的全景圖像顯著性預(yù)測方法，其特征在于，所述將全局特征與預(yù)測的前景注意力圖、背景注意力圖使用逐元素乘的方式進(jìn)行融合，包括：

將預(yù)測的所述前景注意力圖、所述背景注意力圖和提取得到的所述全局特征一起利用哈達(dá)瑪積操作進(jìn)行特征融合；

將融合后的特征送入所述帶有注意力機(jī)制的ResNet50網(wǎng)絡(luò)中得到注意力感知融合的特征向量。

5.根據(jù)權(quán)利要求4所述的基于注意力感知特征融合的全景圖像顯著性預(yù)測方法，其特征在于，所述將融合后的特征送入所述帶有注意力機(jī)制的ResNet50網(wǎng)絡(luò)中得到注意力感知融合的特征，計(jì)算公式如下：

其中，μ∈{F,B}表示的是前景注意力圖、背景注意力圖，表示歸一化后的注意力圖，max(μ)表示是μ取最大值，f表示是在全局特征提取階段得到的16通道的全局特征圖，表示是對兩個(gè)矩陣或張量進(jìn)行逐元素乘操作，f_a表示注意力感知融合的特征向量。