[發明專利]一種融合三模態圖像的顯著性目標檢測系統及方法

在審

• 申請號: 202111373805.7
• 申請日: 2021-11-19
• 公開（公告）號: CN113902783A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 宋克臣;王涵;王杰;顏云輝
• 申請（專利權）人: 東北大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06K9/62;G06N3/04;G06T7/90
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李在川

本發明提供一種融合三模態圖像的顯著性目標檢測系統及方法，屬于圖像顯著性檢測技術領域，所述系統通過全局注意力加權融合實現了對三個模態的高級特征更細致的融合，并通過空洞卷積操作得到大尺度特征，對大尺度特征使用特征矩陣相乘的方式，保存了特征圖整體間信息的關聯性；通過雙模態注意融合實現了跨模態信息的更充分融合，以深度圖像為主要引導，另外兩模態特圖像分別作為輔助補充，兩模態相輔相成，再結合使用空洞卷積、矩陣相乘、矩陣相加等方式處理特征，從而實現了更好的跨模態融合；通過三模態交互加權實現了對三模態信息的互補融合，同時在繼承上一層解碼特征的基礎上，補充了當前層的詳細特征，使整個解碼過程不斷豐富信息。

技術領域

本發明屬于圖像顯著性檢測技術領域，具體涉及一種融合三模態圖像的顯著性目標檢測系統及方法。

背景技術

顯著性目標檢測主要用于檢測圖像中最重要和最有用的目標或區域。顯著性目標檢測作為預處理步驟，用檢測到的目標區域代替原始圖像，進入下一階段的處理和分析，如圖像分割、目標跟蹤、目標檢索和識別等。

近十年來，大多數研究主要集中在可見光RGB(RGB即紅、綠、藍三個通道的顏色)的顯著性目標檢測(簡稱SOD)上，即RGB-SOD。RGB顯著性目標檢測利用可見光圖像中豐富的顏色和紋理信息，取得了良好的檢測效果。然而，在一些弱光照、背景雜亂等復雜的場景中，RGB顯著性目標檢測的性能并不令人滿意。

隨著體感攝像機的普及，將深度信息集成到RGB顯著性檢測中(即RGB-D SOD)，以提高檢測性能。深度信息可以有效區分目標與背景之間的距離差異，因此對單模態RGB信息可以作為一個補充信息來提高檢測效果。但同時也引入了一些分散信息，主要有以下三個：首先，當場景復雜時，顯著物體會與雜亂的深度圖像背景混在一起，分散了顯著性目標檢測的焦點；其次，當顯著物體與背景相距很近時，顯著物體的深度信息是不完整的；最后，深度圖像仍然難以區分一些小顯著物體。

最近，在RGB顯著性檢測中加入熱紅外圖像(即RGB-T SOD)，主要是為了解決光照變化帶來的挑戰。與可見光和深度圖像不同的是，即使在低照度和完全黑暗的環境中，溫度圖像也能區別顯著目標與背景之間的輕微溫度差。因此，溫度圖像可以幫助可見光圖像在復雜光環境下完成顯著性目標檢測任務。然而它也有一些挑戰性場景，有以下三個：首先當顯著目標的溫度與部分背景的溫度相同時，即熱交叉；其次，顯著目標的部分比整個目標更顯著；最后，環境中存在類似鏡面的表面。

從以上分析可以看出，任何單一模態圖像都有其優點和缺點。因此，雙模態(即RGB-D和RGB-T)SOD方法可以獲得更好的性能。然而，現有的這些雙模態方法在實際應用中仍有一定的局限性，特別是在現實生活中復雜的干擾環境中。

目前，顯著性目標檢測方法主要是RGB SOD、RGB-D SOD、RGB-T SOD三大類，而這三大類中，基于深度學習的顯著性目標檢測方法性能要高于無監督的顯著性目標檢測方法。基于深度學習的顯著性目標檢測方法主要使用編解碼的形式。編碼即為利用廣泛使用的分類網絡VGG和ResNet作為特征提取網絡；解碼即為對編碼過程中提取的各級特征做進一步處理，從高級特征開始逐漸的補充低級細節特征，最后得到預測的顯著性圖。然而現有基于深度學習的顯著性目標檢測方法存在以下弊端：①面對更加復雜的場景，RGB單模態的顯著性目標檢測方法已經不能取得令人滿意的結果了。②現有基于RGB-D的顯著性目標檢測方法，只能作為輔助信息，并沒有解決在雨天、大霧、黑暗等復雜條件下預測結果差的問題。③現有基于的RGB-T顯著性目標檢測方法，在RGB圖像清晰的條件下，預測結果容易受到T圖像的影響，導致預測結果不準確。

發明內容

基于上述問題，本發明提出一種融合三模態圖像的顯著性目標檢測系統，包括：圖像采集模塊、圖像配準與注釋模塊、特征提取模塊、解碼模塊；

所述圖像采集模塊用于采集三模態圖像，所述三模態圖像包括RGB圖像、深度圖像、紅外熱圖像；