[發(fā)明專利]基于深度信息的圖像顯著性檢測(cè)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810192934.8
• 申請(qǐng)日: 2018-03-09
• 公開(kāi)（公告）號(hào): CN108491848B
• 公開(kāi)（公告）日: 2022-02-25
• 發(fā)明（設(shè)計(jì)）人: 李革;朱春彪;蔡行
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)深圳研究生院
• 主分類號(hào): G06V10/46
• 分類號(hào): G06V10/46
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 談杰

1.一種基于深度信息的圖像顯著性檢測(cè)方法，其特征在于，包括：

獲取待檢測(cè)圖像以及所述待檢測(cè)圖像的深度圖像；

獲取所述待檢測(cè)圖像的特征圖像，得到第一特征圖像，以及獲取所述深度圖像的特征圖像，得到第二特征圖像；

基于所述第一特征圖像和所述第二特征圖像，得到所述待檢測(cè)圖像的顯著性圖像；

獲取所述待檢測(cè)圖像的特征圖像，得到第一特征圖像，以及獲取所述深度圖像的特征圖像，得到第二特征圖像之前，所述方法還包括：

構(gòu)建先驗(yàn)?zāi)Ｐ鸵龑?dǎo)深度增強(qiáng)網(wǎng)絡(luò)，其中，所述先驗(yàn)?zāi)Ｐ鸵龑?dǎo)深度增強(qiáng)網(wǎng)絡(luò)包括主網(wǎng)絡(luò)和子網(wǎng)絡(luò)，所述主網(wǎng)絡(luò)為編碼器-解碼器結(jié)構(gòu)，所述子網(wǎng)絡(luò)為編碼器結(jié)構(gòu)；

獲取所述待檢測(cè)圖像的特征圖像，包括：通過(guò)所述主網(wǎng)絡(luò)的編碼器獲取所述待檢測(cè)圖像的特征圖像；

獲取所述深度圖像的特征圖像，包括：通過(guò)所述子網(wǎng)絡(luò)的編碼器獲取所述深度圖像的特征圖像；

基于所述第一特征圖像和所述第二特征圖像，得到所述待檢測(cè)圖像的顯著性圖像，包括：基于所述第一特征圖像和所述第二特征圖像，通過(guò)所述主網(wǎng)絡(luò)的解碼器，得到所述待檢測(cè)圖像的顯著性圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述主網(wǎng)絡(luò)的編碼器為VGG結(jié)構(gòu)，所述VGG結(jié)構(gòu)采用全卷積網(wǎng)絡(luò)，所述全卷積網(wǎng)絡(luò)包括多個(gè)單元，每個(gè)所述單元包括卷積層、批量標(biāo)準(zhǔn)化層和整流線性激活單元。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，構(gòu)建先驗(yàn)?zāi)Ｐ鸵龑?dǎo)深度增強(qiáng)網(wǎng)絡(luò)，包括：構(gòu)建所述主網(wǎng)絡(luò)；

其中，構(gòu)建所述主網(wǎng)絡(luò)，包括：采用顯著性檢測(cè)數(shù)據(jù)集對(duì)所述主網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。

4.根據(jù)權(quán)利要求1-3中任意一項(xiàng)所述的方法，其特征在于，基于所述第一特征圖像和所述第二特征圖像，得到所述待檢測(cè)圖像的顯著性圖像，包括：

采用多特征拼接技術(shù)對(duì)所述第一特征圖像和所述第二特征圖像進(jìn)行拼接，得到拼接后圖像；

根據(jù)所述拼接后圖像得到所述待檢測(cè)圖像的顯著性圖像。

5.一種基于深度信息的圖像顯著性檢測(cè)裝置，其特征在于，包括：

第一獲取模塊，用于獲取待檢測(cè)圖像以及所述待檢測(cè)圖像的深度圖像；

第二獲取模塊，用于獲取所述待檢測(cè)圖像的特征圖像，得到第一特征圖像，以及獲取所述深度圖像的特征圖像，得到第二特征圖像；

第一處理模塊，用于基于所述第一特征圖像和所述第二特征圖像，得到所述待檢測(cè)圖像的顯著性圖像；

所述裝置還包括：

第一構(gòu)建模塊，用于在所述第二獲取模塊獲取所述待檢測(cè)圖像的特征圖像，得到第一特征圖像，以及獲取所述深度圖像的特征圖像，得到第二特征圖像之前，構(gòu)建先驗(yàn)?zāi)Ｐ鸵龑?dǎo)深度增強(qiáng)網(wǎng)絡(luò)，其中，所述先驗(yàn)?zāi)Ｐ鸵龑?dǎo)深度增強(qiáng)網(wǎng)絡(luò)包括主網(wǎng)絡(luò)和子網(wǎng)絡(luò)，所述主網(wǎng)絡(luò)為編碼器-解碼器結(jié)構(gòu)，所述子網(wǎng)絡(luò)為編碼器結(jié)構(gòu)；

所述第二獲取模塊包括：

第三獲取模塊，用于通過(guò)所述主網(wǎng)絡(luò)的編碼器獲取所述待檢測(cè)圖像的特征圖像；

第四獲取模塊，用于通過(guò)所述子網(wǎng)絡(luò)的編碼器獲取所述深度圖像的特征圖像；

所述第一處理模塊包括：

第二處理模塊，用于基于所述第一特征圖像和所述第二特征圖像，通過(guò)所述主網(wǎng)絡(luò)的解碼器，得到所述待檢測(cè)圖像的顯著性圖像。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述主網(wǎng)絡(luò)的編碼器為VGG結(jié)構(gòu)，所述VGG結(jié)構(gòu)采用全卷積網(wǎng)絡(luò)，所述全卷積網(wǎng)絡(luò)包括多個(gè)單元，每個(gè)單元包括卷積層、批量標(biāo)準(zhǔn)化層和整流線性激活單元。

7.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求1至4中任意一項(xiàng)所述的基于深度信息的圖像顯著性檢測(cè)方法。

8.一種計(jì)算機(jī)設(shè)備，其特征在于，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1至4中任意一項(xiàng)所述的基于深度信息的圖像顯著性檢測(cè)方法。