[發明專利]退化視覺環境下寬視場范圍目標搜索裝置、系統及方法

在審

• 申請號: 202210081227.8
• 申請日: 2022-01-24
• 公開（公告）號: CN114429435A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 劉延芳;周芮;齊驥;齊乃明;魏皓暄;霍明英;丁元川
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V20/17;G06V10/143;G06V10/25;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 哈爾濱華夏松花江知識產權代理有限公司 23213
• 代理人: 時起磊

1.退化視覺環境下寬視場范圍目標搜索裝置，其特征在于，所述裝置包括多目視覺系統(1)、連接結構(2)、二軸云臺(3)；其中多目視覺系統(1)包括紅外相機(1-1)、長焦相機(1-2)、廣角相機(1-3)；

多目視覺系統(1)由連接結構(2)安裝在二軸云臺(3)上，二軸云臺(3)實現二自由度旋轉；

多目視覺系統(1)上的中心相機為長焦相機(1-2)，兩側分別為紅外相機(1-1)和廣角相機(1-3)，三個相機分布同一云臺上。

2.退化視覺環境下寬視場范圍目標搜索系統，其特征在于，所述系統包括控制器、圖像處理器和一套權利要求1所述的退化視覺環境下寬視場范圍目標搜索裝置；

控制器控制廣角相機與紅外相機進行圖像采集，采集到的圖像傳輸給圖像處理器；

圖像處理器進行圖像融合和特征檢測處理，然后將目標位置信息傳給控制器；圖像處理器還用于處理長焦相機拍攝的圖像，得到目標種類和姿態信息；

控制器控制運動電機轉動，電機轉動帶動相機及位置傳感器動作；控制器還用于控制長焦相機拍攝。

3.退化視覺環境下寬視場范圍目標搜索方法，其特征在于，包括以下步驟：

S1、針對紅外圖像與可見光圖像，進行分解后再進行融合策略進行融合；

所述紅外圖像和可見光圖像分別通過紅外相機(1-1)和廣角相機(1-3)獲得；

S2、在融合圖像上進行特征檢測，進而得到特征描述；

S3、基于面向特征的圖像評價方式對融合圖像進行評價，篩選融合圖像，篩選后的融合圖像是基于紅外圖像與可見光圖像得到的，記為寬視場融合圖像；并記錄寬視場融合圖像中的特征豐富區域作為感興趣區域；

S4、采用注意力切換策略，在寬視場融合圖像中得到感興趣區域后，記錄區域位置，操控退化視覺環境下寬視場范圍目標搜索系統使得感興趣區域位于視場中央；利用長焦相機采集感興趣區域對應的圖像，長焦相機采集到的圖像即高分辨率圖像；

S5、采用深度學習對長焦相機對應的圖像進行目標辨識，得到目標種類、位置等信息；重復上述步驟，直至完成全部任務。

4.根據權利要求3所述的退化視覺環境下寬視場范圍目標搜索方法，其特征在于，S1所述針對紅外圖像與可見光圖像，分解后，再進行融合的過程中，采用多尺度低秩融合方法將圖像劃分成不同大小的低秩塊，對不同層次的低秩圖采用不同的融合策略進行融合。

5.根據權利要求4所述的退化視覺環境下寬視場范圍目標搜索方法，其特征在于，采用多尺度低秩融合方法將圖像劃分成不同大小的低秩塊，對不同層次的低秩圖采用不同的融合策略進行融合的過程包括以下步驟：

(1)將紅外圖像、可見光圖像作為待分解圖像，將待分解圖像Y劃分為由不同大小低秩塊分解組成的圖像矩陣；

(2)將大小不同的特征圖采用不同融合策略進行融合，對于特征圖長/寬小于原圖像尺度50％的圖像采用求和融合策略；對于長/寬大于等于原圖像尺度50％采用最大值融合策略，最終得到不同融合策略下的多種融合結果；將產生的大小特征圖進行疊加融合，得到一張新的大圖，則為融合的結果，進而得到一系列針對同一輸入的不同特征圖；

其中，基于求和融合策略來融合該部分圖像，表示為：

F_i(x,y)＝T_ri(x,y)+T_vi(x,y),i≤3

式中，F_i(x,y)表示融合圖像對應位置的像素值，T_ri(x,y)、T_vi(x,y)分別表示紅外顯著圖像、可見光顯著圖像對應位置的像素值；

最大值融合規則對該部分分解圖像進行融合，表達式為：

F_i(x,y)＝W(x,y)T_vi(x,y)+[1-W(x,y)]T_ri(x,y)

式中，W(x,y)為圖像融合權重，由融合圖像質量評價方法指導選擇。