[發(fā)明專利]一種基于混合標(biāo)簽的弱監(jiān)督顯著性檢測方法及訓(xùn)練策略

在審

• 申請?zhí)枺?/td>: 202211081469.3
• 申請日: 2022-09-06
• 公開（公告）號: CN115620101A
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 叢潤民;秦萁;熊航;劉鴻羽;白慧慧;趙耀
• 申請（專利權(quán)）人: 北京交通大學(xué)
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/30;G06N3/0464;G06N3/08
• 代理公司: 北京衛(wèi)平智業(yè)專利代理事務(wù)所(普通合伙) 11392
• 代理人: 閆萍

1.一種基于混合標(biāo)簽的弱監(jiān)督顯著性檢測方法，其特征在于，包括R-Net和S-Net；

R-Net整體采用編碼器-解碼器架構(gòu)，用以接收主流分支和引導(dǎo)分支的信息，形成雙流編碼結(jié)構(gòu)；R-Net中還包括帶有引導(dǎo)和聚合機(jī)制的混合器BGA，用以實(shí)現(xiàn)引導(dǎo)階段和聚合階段的特征解碼；

S-Net用于在真實(shí)標(biāo)簽監(jiān)督下對待預(yù)測的RGB圖片進(jìn)行顯著性檢測；

上述R-Net指修正網(wǎng)絡(luò)，S-Net指顯著性預(yù)測網(wǎng)絡(luò)；主流分支指主流修復(fù)分支，包括RGB圖片和粗糙標(biāo)簽；引導(dǎo)分支指獨(dú)立的RGB圖片引導(dǎo)分支；

上述引導(dǎo)階段指使用引導(dǎo)分支的信息補(bǔ)充主流分支；聚合階段指整合相應(yīng)層的編碼器特征、前一層的解碼器特征和來自編碼器頂層的全局特征。

2.如權(quán)利要求1所述的一種基于混合標(biāo)簽的弱監(jiān)督顯著性檢測方法，其特征在于：

所述引導(dǎo)階段中，將主流分支和引導(dǎo)分支中對應(yīng)層的編碼器串聯(lián)起來進(jìn)行補(bǔ)充，然后用通道注意力來突出必要的通道特征以進(jìn)行過濾，表述為式(1)：

上式中，表示通道注意力處理后的互補(bǔ)特征，CA為通道注意力操作，和分別表示主流分支和引導(dǎo)分支中第i層的編碼器特征，[,]表示沿通道維度進(jìn)行的級聯(lián)操作；表示有信道維度廣播的逐元素乘法；

從RGB信息角度生成需要強(qiáng)調(diào)的空間位置掩碼，并以此來更新細(xì)化分支的特征，表述為式(2)：

上式中，為空間注意力增強(qiáng)后引導(dǎo)階段的最終輸出的編碼器特征，SA為空間注意力操作，⊙為逐元素相乘操作，Conv_1×1表示卷積核大小為1×1的卷積層。

3.如權(quán)利要求1所述的一種基于混合標(biāo)簽的弱監(jiān)督顯著性檢測方法，其特征在于：

所述聚合階段中，整合引導(dǎo)階段生成的相應(yīng)層的編碼器特征、來自頂層編碼器的全局特征以及前一層的解碼器特征，具體為：

通過重要性加權(quán)策略將主流分支和引導(dǎo)分支的語義特征和引導(dǎo)階段生成的編碼器特征相結(jié)合，表述為式(3)：

上式中，表示來自兩個(gè)分支的融合語義特征，也就是來自頂層編碼器的全局特征；為相應(yīng)層的編碼器特征；Pⁱ是學(xué)習(xí)的重要性權(quán)重，用于控制f_g和特征的融合占比；

然后，含有全局語義信息的融合特征被激活為語義掩碼，用于修正上采樣的解碼器特征，表達(dá)為式(4)：

上式中，是第i層的修正解碼器特征；代表第i+1層的原始解碼器特征，也就是前一層的解碼器特征；Up代表雙線性插值的上采樣操作，σ代表sigmoid激活函數(shù)；

通過空間注意力機(jī)制進(jìn)一步用過濾過的特征來補(bǔ)充修正的解碼器特征，以獲得更全面的與顯著性相關(guān)的解碼器特征，表達(dá)為式(5)：

上式中，是第i層修正的解碼器特征，SA表示空間注意力操作。

4.一種基于混合標(biāo)簽的弱監(jiān)督顯著性檢測訓(xùn)練策略，其特征在于，包括以下步驟：

步驟1、在數(shù)據(jù)集中隨機(jī)選取一定數(shù)量的樣本作為真實(shí)標(biāo)簽的訓(xùn)練子集，并使用最小化柵格方法生成上述數(shù)據(jù)集中所有樣本的相應(yīng)粗略標(biāo)簽；

步驟2、將步驟1中得到的包括真實(shí)標(biāo)簽和粗略標(biāo)簽的所有訓(xùn)練樣本進(jìn)行平均分成n組，其中的真實(shí)標(biāo)簽歸入組1，其他粗略標(biāo)簽歸入組2至組n；

步驟3、使用步驟2得到的各組訓(xùn)練樣本利用交替增量迭代機(jī)制訓(xùn)練R-Net和S-Net，直至所有訓(xùn)練樣本都被遍歷；

步驟4、將RGB圖片直接輸入到S-Net網(wǎng)絡(luò)中，S-Net根據(jù)輸入圖片即可輸出顯著性檢測結(jié)果。