[發(fā)明專利]退化視覺環(huán)境下寬視場范圍目標搜索裝置、系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202210081227.8
• 申請日: 2022-01-24
• 公開（公告）號: CN114429435A
• 公開（公告）日: 2022-05-03
• 發(fā)明（設計）人: 劉延芳;周芮;齊驥;齊乃明;魏皓暄;霍明英;丁元川
• 申請（專利權）人: 哈爾濱工業(yè)大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06V20/17;G06V10/143;G06V10/25;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 哈爾濱華夏松花江知識產(chǎn)權代理有限公司 23213
• 代理人: 時起磊

退化視覺環(huán)境下寬視場范圍目標搜索裝置、系統(tǒng)及方法，屬于機器視覺技術領域。為了解決現(xiàn)有技術不能在退化視覺環(huán)境下實現(xiàn)大范圍、小目標搜索與辨識的問題，本發(fā)明所述裝置包括多目視覺系統(tǒng)、連接結構、二軸云臺；其中多目視覺系統(tǒng)包括紅外相機、長焦相機、廣角相機；多目視覺系統(tǒng)由連接結構安裝在二軸云臺上，二軸云臺實現(xiàn)二自由度旋轉；多目視覺系統(tǒng)上的中心相機為長焦相機，兩側分別為紅外相機和廣角相機，三個相機分布于同一云臺上。本發(fā)明所述系統(tǒng)包括控制器、圖像處理器和一套前述裝置。本發(fā)明所述方法通過圖像融合、融合評價、特征檢測、注意力切換、目標辨識等過程實現(xiàn)退化視覺環(huán)境下寬視場范圍的小目標搜索與位置姿態(tài)估計。

技術領域

本發(fā)明涉及寬視場范圍目標搜索系統(tǒng)和方法。屬于機器視覺技術領域。

背景技術

隨著無人機技術的發(fā)展，無人機功能越來越強大，在軍事和民用領域都發(fā)揮著重大的作用，但目前無人機自主性有限，在復雜環(huán)境下作戰(zhàn)或執(zhí)行任務，仍需要人員參與操作，缺少對作戰(zhàn)環(huán)境或任務環(huán)境的自主感知能力。因此，如何提高操作人員對態(tài)勢的感知能力，利用傳感器自主感知態(tài)勢，減輕操作人員工作量是研究的重點問題。

視覺傳感器具有高精度、高分辨率、高靈敏度、體積小、質量輕等特點，是應用在查打一體、“發(fā)射后不管”型設備的典型敏感器。但視覺傳感器對光照變化敏感，且難以兼顧大視場探測以及高精度識別的需求。為了適應全天候、大區(qū)域的作戰(zhàn)需求或任務需求，對武器系統(tǒng)、機動系統(tǒng)等敏感器提出了更高的要求，對視覺成像技術在目標持續(xù)跟蹤與精準識別方面提出了新的挑戰(zhàn)。

目前，常用的視覺傳感器有可見光傳感器和紅外傳感器。可見光圖像通常具有較高的空間分辨率，細節(jié)豐富，明暗對比度明顯。然而，可見光圖像很容易受到惡劣條件的影響，如光照不足、霧或其他惡劣天氣，稱為退化視覺環(huán)境(DVE)。而紅外圖像對這些干擾具有較好抵抗性，但分辨率相對較低，紋理信息不夠豐富。因此，采用單一傳感器很難在退化視覺環(huán)境下提供高魯棒性的圖像信息，多目傳感器融合勢在必得。

發(fā)明內容

本發(fā)明是為了解決現(xiàn)有技術不能在退化視覺環(huán)境下實現(xiàn)大范圍、小目標搜索與辨識的問題。

退化視覺環(huán)境下寬視場范圍目標搜索裝置，所述裝置包括多目視覺系統(tǒng)、連接結構、二軸云臺；其中多目視覺系統(tǒng)包括紅外相機、長焦相機、廣角相機；

多目視覺系統(tǒng)由連接結構安裝在二軸云臺上，二軸云臺實現(xiàn)二自由度旋轉；

多目視覺系統(tǒng)上的中心相機為長焦相機，兩側分別為紅外相機和廣角相機，三個相機分布同一云臺上。優(yōu)選地，三個相機“一”字分布同一云臺上。

退化視覺環(huán)境下寬視場范圍目標搜索系統(tǒng)，所述系統(tǒng)包括控制器、圖像處理器和一套退化視覺環(huán)境下寬視場范圍目標搜索裝置；

控制器控制廣角相機與紅外相機進行圖像采集，將采集到的圖像傳輸給圖像處理器；

圖像處理器進行圖像融合和特征檢測處理，然后將目標位置信息傳給控制器；圖像處理器還用于處理長焦相機拍攝的圖像，得到目標種類和姿態(tài)信息；

控制器控制運動電機轉動，電機轉動帶動相機及位置傳感器動作；控制器還用于控制長焦相機拍攝。

退化視覺環(huán)境下寬視場范圍目標搜索方法，包括以下步驟：

S1、針對紅外圖像與可見光圖像，進行分解后再進行融合策略進行融合；

所述紅外圖像和可見光圖像分別通過紅外相機和廣角相機獲得；

S2、在融合圖像上進行特征檢測，進而得到特征描述；

S3、基于面向特征的圖像評價方式對融合圖像進行評價，篩選融合圖像，篩選后的融合圖像是基于紅外圖像與可見光圖像得到的，記為寬視場融合圖像；并記錄寬視場融合圖像中的特征豐富區(qū)域作為感興趣區(qū)域；