[發(fā)明專利]一種圖像協(xié)同顯著性檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810103215.4
• 申請(qǐng)日: 2018-02-01
• 公開（公告）號(hào): CN110111295B
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 王睿;王蘊(yùn)紅;趙文婷
• 申請(qǐng)（專利權(quán)）人: 北京中科奧森數(shù)據(jù)科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11363
• 代理人: 逯長(zhǎng)明;許偉群

1.一種圖像協(xié)同顯著性檢測(cè)方法，其特征在于，包括：

利用第一網(wǎng)絡(luò)層組對(duì)兩張圖像進(jìn)行特征提取，分別得到第一特征圖集以及第二特征圖集；

利用第二網(wǎng)絡(luò)層組學(xué)習(xí)所述第一特征圖集與所述第二特征圖集之間的協(xié)同性，得到協(xié)同特征圖集；

將所述第一特征圖集以及所述第二特征圖集分別與所述協(xié)同特征圖集進(jìn)行疊加，并將疊加后得到的兩個(gè)特征圖集分別進(jìn)行反卷積，得到所述兩張圖像分別對(duì)應(yīng)的協(xié)同顯著圖；

將所述兩張協(xié)同顯著圖分別與相應(yīng)的真實(shí)協(xié)同顯著圖進(jìn)行對(duì)比，得到第一誤差以及第二誤差；

利用所述第一誤差以及所述第二誤差優(yōu)化所述第一網(wǎng)絡(luò)層組、所述第二網(wǎng)絡(luò)層組以及進(jìn)行所述反卷積處理利用的網(wǎng)絡(luò)層的參數(shù)；

所述第一誤差以及所述第二誤差的計(jì)算方法包括：

其中，n表示批量訓(xùn)練樣本的數(shù)量，yi表示第i個(gè)真實(shí)的協(xié)同顯著圖，pi表示第i個(gè)預(yù)測(cè)的協(xié)同顯著圖；

所述利用第一網(wǎng)絡(luò)層組對(duì)兩張圖像進(jìn)行特征提取，分別得到第一特征圖集以及第二特征圖集的步驟，包括：

將兩張圖像分別通過VGG16網(wǎng)絡(luò)所包含的卷積層進(jìn)行卷積處理，得到第三特征圖集以及第四特征圖集；

將所述第三特征圖集以及第四特征圖集再分別進(jìn)行卷積處理，得到第一特征圖集以及第二特征圖集；

還包括：

將所述協(xié)同特征圖集進(jìn)行降維，得到1×2維的特征向量；

對(duì)所述特征向量進(jìn)行二分類處理，得到表示所述兩張圖像是否具有協(xié)同性的分類結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，利用第二網(wǎng)絡(luò)層組學(xué)習(xí)所述第一特征圖集與所述第二特征圖集之間的協(xié)同性，得到協(xié)同特征圖集的步驟，包括：

將所述第一特征圖集與所述第二特征圖集進(jìn)行疊加得到第五特征圖集；

將所述第五特征圖集進(jìn)行卷積處理，得到協(xié)同特征圖集。

3.如權(quán)利要求1所述的方法，其特征在于，對(duì)所述特征向量進(jìn)行二分類處理，得到表示所述兩張圖像是否具有協(xié)同性的分類結(jié)果的步驟之后，還包括：

將所述分類結(jié)果與真實(shí)分類結(jié)果進(jìn)行對(duì)比，得到第三誤差；

利用所述第三誤差優(yōu)化所述第一網(wǎng)絡(luò)層組、所述第二網(wǎng)絡(luò)層組以及進(jìn)行所述降維利用的網(wǎng)絡(luò)層的參數(shù)。

4.一種圖像協(xié)同顯著性檢測(cè)裝置，其特征在于，包括：

特征提取單元，用于利用第一網(wǎng)絡(luò)層組對(duì)兩張圖像進(jìn)行特征提取，分別得到第一特征圖集以及第二特征圖集；

協(xié)同學(xué)習(xí)單元，用于利用第二網(wǎng)絡(luò)層組學(xué)習(xí)所述第一特征圖集與所述第二特征圖集之間的協(xié)同性，得到協(xié)同特征圖集；

疊加單元，用于將所述第一特征圖集以及所述第二特征圖集分別與所述協(xié)同特征圖集進(jìn)行疊加；

反卷積單元，用于將疊加后得到的兩個(gè)特征圖集分別進(jìn)行反卷積，得到所述兩張圖像分別對(duì)應(yīng)的協(xié)同顯著圖；

優(yōu)化單元，用于將所述兩張協(xié)同顯著圖分別與相應(yīng)的真實(shí)協(xié)同顯著圖進(jìn)行對(duì)比，得到第一誤差以及第二誤差；

利用所述第一誤差以及所述第二誤差優(yōu)化所述第一網(wǎng)絡(luò)層組、所述第二網(wǎng)絡(luò)層組以及進(jìn)行所述反卷積處理利用的網(wǎng)絡(luò)層的參數(shù)；

所述第一誤差以及所述第二誤差的計(jì)算方法包括：

其中，n表示批量訓(xùn)練樣本的數(shù)量，yi表示第i個(gè)真實(shí)的協(xié)同顯著圖，pi表示第i個(gè)預(yù)測(cè)的協(xié)同顯著圖；

所述特征提取單元具體用于：

將兩張圖像分別通過VGG16網(wǎng)絡(luò)所包含的卷積層進(jìn)行卷積處理，得到第三特征圖集以及第四特征圖集；

將所述第三特征圖集以及第四特征圖集再分別進(jìn)行卷積處理，得到第一特征圖集以及第二特征圖集；

還包括：

協(xié)同性檢測(cè)單元，用于將所述協(xié)同特征圖集進(jìn)行降維，得到1×2維的特征向量；

對(duì)所述特征向量進(jìn)行二分類處理，得到表示所述兩張圖像是否具有協(xié)同性的分類結(jié)果。

5.如權(quán)利要求4所述的裝置，其特征在于，所述協(xié)同學(xué)習(xí)單元具體用于：

將第一特征圖集與所述第二特征圖集進(jìn)行疊加得到第五特征圖集；

將所述第五特征圖集進(jìn)行卷積處理，得到協(xié)同特征圖集。