[發(fā)明專利]一種融合三模態(tài)圖像的顯著性目標(biāo)檢測系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202111373805.7
• 申請日: 2021-11-19
• 公開（公告）號: CN113902783A
• 公開（公告）日: 2022-01-07
• 發(fā)明（設(shè)計(jì)）人: 宋克臣;王涵;王杰;顏云輝
• 申請（專利權(quán)）人: 東北大學(xué)
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06K9/62;G06N3/04;G06T7/90
• 代理公司: 沈陽東大知識產(chǎn)權(quán)代理有限公司 21109
• 代理人: 李在川

1.一種融合三模態(tài)圖像的顯著性目標(biāo)檢測系統(tǒng)，其特征在于，包括：圖像采集模塊、圖像配準(zhǔn)與注釋模塊、特征提取模塊、解碼模塊；

所述圖像采集模塊用于采集三模態(tài)圖像，所述三模態(tài)圖像包括RGB圖像、深度圖像、紅外熱圖像；

所述圖像配準(zhǔn)與注釋模塊用于根據(jù)標(biāo)定參數(shù)對采集到的三模態(tài)圖像進(jìn)行配準(zhǔn)對齊，并對對齊后的圖像注釋顯著對象，得到注釋后的三模態(tài)圖像；

所述特征提取模塊用于對對齊后的三模態(tài)圖像分別提取各自的5級分辨率不同的特征；

所述解碼模塊用于獲取三模態(tài)圖像的5級特征，并進(jìn)行逐級融合后輸出顯著性圖。

2.根據(jù)權(quán)利要求1所述的一種融合三模態(tài)圖像的顯著性目標(biāo)檢測系統(tǒng)，其特征在于，所述圖像配準(zhǔn)與注釋模塊包括：圖像配準(zhǔn)模塊、圖像注釋模塊；

所述圖像配準(zhǔn)模塊用于根據(jù)相機(jī)的固有參數(shù)和外部參數(shù)計(jì)算得到標(biāo)定參數(shù)，利用標(biāo)定參數(shù)對獲取的三模態(tài)圖像進(jìn)行配準(zhǔn)，對齊三模態(tài)的圖像；

所述圖像注釋模塊用于注釋對齊后的三模態(tài)圖像的顯著對象。

3.根據(jù)權(quán)利要求1所述的一種融合三模態(tài)圖像的顯著性目標(biāo)檢測系統(tǒng)，其特征在于，所述解碼模塊包括：GAWFM模塊、5級的DMAFM模塊、5級的TMIWM模塊、每級DMAFM模塊中包含2個DMAFM模塊；

所述GAWFM模塊用于對三模態(tài)圖像的最高級特征V4、D4、T4進(jìn)行全局注意力加權(quán)融合得到全局語義特征；其中從RGB圖像提取的5級特征分別記為V0～V4，從深度圖像提取的5級特征分別記為D0～D4，從熱紅外圖像提取的5級特征分別記為T0～T4；

所述DMAFM模塊用于對RGB圖像和深度圖像的特征逐級進(jìn)行雙模態(tài)注意力融合，得到融合后的特征，對熱紅外圖像和深度圖像的特征逐級進(jìn)行雙模態(tài)注意力融合，得到融合后的特征；

所述TMIWM模塊用于對DMAFM模塊輸出的兩個融合后的特征以及GAWFM模塊或上一級TMIWM模塊輸出的語義特征進(jìn)行三模態(tài)交互加權(quán)融合，輸出最終融合后的顯著性圖。

4.根據(jù)權(quán)利要求3所述的一種融合三模態(tài)圖像的顯著性目標(biāo)檢測系統(tǒng)，其特征在于，所述5級的TMIWM模塊分別記為TMIWM模塊I、TMIWM模塊II、TMIWM模塊III、TMIWM模塊IV、TMIWM模塊V；

第5級的兩個DMAFM模塊用于從特征提取模塊獲取三模態(tài)圖像的最高級特征V4、D4以及T4、D4；以D4為中間模態(tài)作為連接V4與T4的橋梁，兩個DMAFM模塊分別對D4、V4以及D4、T4進(jìn)行雙模態(tài)注意力融合，得到兩個輸出并發(fā)送給TMIWM模塊V；

TMIWM模塊V用于對GAWFM模塊輸出的一個特征以及第5級DMAFM模塊輸出的兩個特征進(jìn)行三模態(tài)交互加權(quán)融合，融合后的特征發(fā)送給TMIWM模塊IV；

第4級的兩個DMAFM模塊用于從特征提取模塊獲取三模態(tài)圖像的第4級特征V3、D3以及T3、D3；以D3為中間模態(tài)作為連接V3與T3的橋梁，兩個DMAFM模塊分別對D3、V3以及D3、T3進(jìn)行雙模態(tài)注意力融合，得到兩個輸出并發(fā)送給TMIWM模塊IV；

TMIWM模塊IV用于對TMIWM模塊V輸出的一個特征以及第4級DMAFM模塊輸出的兩個特征進(jìn)行三模態(tài)交互加權(quán)融合，融合后的特征發(fā)送給TMIWM模塊III；

第3級的兩個DMAFM模塊用于從特征提取模塊獲取三模態(tài)圖像的第3級特征V2、D2以及T2、D2；以D2為中間模態(tài)作為連接V2與T2的橋梁，兩個DMAFM模塊分別對D2、V2以及D2、T2進(jìn)行雙模態(tài)注意力融合，得到兩個輸出并發(fā)送給TMIWM模塊III；

TMIWM模塊III用于對TMIWM模塊IV輸出的一個特征以及第3級DMAFM模塊輸出的兩個特征進(jìn)行三模態(tài)交互加權(quán)融合，融合后的特征發(fā)送給TMIWM模塊II；

第2級的兩個DMAFM模塊用于從特征提取模塊獲取三模態(tài)圖像的第2級特征V1、D1以及T1、D1；以D1為中間模態(tài)作為連接V1與T1的橋梁，兩個DMAFM模塊分別對D1、V1以及D1、T1進(jìn)行雙模態(tài)注意力融合，得到兩個輸出并發(fā)送給TMIWM模塊II；

TMIWM模塊II用于對TMIWM模塊III輸出的一個特征以及第2級DMAFM模塊輸出的兩個特征進(jìn)行三模態(tài)交互加權(quán)融合，融合后的特征發(fā)送給TMIWM模塊I；

第1級的兩個DMAFM模塊用于從特征提取模塊獲取三模態(tài)圖像的第1級特征V0、D0以及T0、D0；以D0為中間模態(tài)作為連接V0與T0的橋梁，兩個DMAFM模塊分別對D0、V0以及D0、T0進(jìn)行雙模態(tài)注意力融合，得到兩個輸出并發(fā)送給TMIWM模塊I；

TMIWM模塊I用于對TMIWM模塊II輸出的一個特征以及第1級DMAFM模塊輸出的兩個特征進(jìn)行三模態(tài)交互加權(quán)融合，融合后的特征進(jìn)行卷積處理、二值化處理得到最后的顯著性圖。