[發(fā)明專利]一種圖像鎖定跟蹤系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202010300114.3
• 申請日: 2020-04-16
• 公開（公告）號: CN111462189B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設計）人: 劉佳琳;劉超
• 申請（專利權(quán)）人: 吉林大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T5/00
• 代理公司: 西安合創(chuàng)非凡知識產(chǎn)權(quán)代理事務所(普通合伙) 61248
• 代理人: 惠銀銀

1.一種圖像鎖定跟蹤系統(tǒng)，其特征在于，包括：

輸入－輸出模塊，用于接收成像傳感器將視頻信號傳輸給FPGA，F(xiàn)PGA將得到的數(shù)據(jù)轉(zhuǎn)換為適合數(shù)字信號處理器DSP接收的數(shù)據(jù)格式后，發(fā)送給數(shù)字信號處理模塊；

數(shù)字信號處理模塊，用于視頻圖像跟蹤信息處理系統(tǒng)的處理核心，主要完成實現(xiàn)系統(tǒng)算法；

通信接口模塊，用于完成信號處理器與外部的接口，電平適配、數(shù)據(jù)格式轉(zhuǎn)換；接收中心控制系統(tǒng)發(fā)送的各種控制信號和數(shù)據(jù)，并將其轉(zhuǎn)換為適合于數(shù)字信號處理模塊接收的數(shù)據(jù)格式與信號電平后，發(fā)送給數(shù)字信號處理模塊；與系統(tǒng)上位機的RS422串行接口；與序列圖像信號源的接口；

電源模塊，用于向系統(tǒng)的各個模塊提供所要求的電源；

所述數(shù)字信號處理模塊包括：

輸入圖像自適應整定模塊，用于改善不同光照和外界環(huán)境條件下獲取的圖像主觀和客觀質(zhì)量，降低傳感器噪聲、環(huán)境電磁干擾噪聲和電路傳輸噪聲，使系統(tǒng)在車內(nèi)復雜電磁干擾環(huán)境和各種外界天候條件下均具有良好的性能；

基于遺傳算法的快速圖像匹配模塊，用于在保證匹配結(jié)果具有最優(yōu)精度的前提下，使計算量降低；

匹配點定位技術(shù)和基于目標圖像模版變化智能感知的模版刷新模塊，用于保證跟蹤點的高精度和高穩(wěn)定性；

基于后驗判別準則的目標遮擋判斷模塊，用于準確判斷遮擋物出現(xiàn)的可能性，并在遮擋現(xiàn)象實際發(fā)生時，使系統(tǒng)進入盲跟－再捕狀態(tài)；

目標尺寸變化自動跟蹤模塊，用于結(jié)合系統(tǒng)變焦的視場角信息，配合一定的準則識別目標尺寸由小到大變化，并根據(jù)識別結(jié)果調(diào)整處理參數(shù)，保證在系統(tǒng)變焦過程中目標跟蹤的高精度和高穩(wěn)定性；

復合多模式目標跟蹤模塊，用于采用形心和圖像相關匹配兩種方式對目標進行跟蹤，用于不同的跟蹤情況；

所述數(shù)字信號處理模塊包括特征提取模塊，所述特征提取模塊包括：

顏色特征提取模塊，用于圖像或圖像區(qū)域所對應的景物的顏色特征提取；

紋理特征提取模塊，用于圖像或圖像區(qū)域所對應的景物的紋理特征提取；

形狀特征提取模塊，用于圖像或圖像區(qū)域所對應的景物的形狀特征提取；

空間關系特征提取模塊，用于圖像或圖像區(qū)域所對應的景物的空間關系特征提取；

所述跟蹤系統(tǒng)主要針對地面的靜止或運動目標進行穩(wěn)定跟蹤，所述跟蹤系統(tǒng)由2路獨立的視頻通道組成，一路CCD、一路紅外，當接收到上位機發(fā)送的鎖定命令后，對上位機鎖定的位置進行跟蹤，并將跟蹤的誤差量，送給伺服系統(tǒng)，由伺服系統(tǒng)根據(jù)誤差量輸出控制伺服轉(zhuǎn)動，使跟蹤目標始終位于視場的中心；

視頻圖像跟蹤信息處理系統(tǒng)采用模塊化，整個系統(tǒng)的硬件由功能相對對立的輸入－輸出模塊、通信接口模塊、數(shù)字信號處理模塊和電源轉(zhuǎn)換模塊組成；

視頻圖像跟蹤信息處理系統(tǒng)由數(shù)字信號處理模塊板和通用組件2個模塊板組合在一起，構(gòu)成嵌入式信號處理器通用組件；視頻輸入輸出模塊、通信接口模塊和內(nèi)部電源模塊集成在一起；

輸入－輸出模塊：

接收成像傳感器將視頻信號傳輸給FPGA，F(xiàn)PGA將得到的數(shù)據(jù)轉(zhuǎn)換為適合數(shù)字信號處理器DSP接收的數(shù)據(jù)格式后，發(fā)送給數(shù)字信號處理模塊；

接收紅外、可見光成像傳感器輸出的圖像數(shù)據(jù)，通過FPGA接口芯片對輸入的數(shù)字圖像轉(zhuǎn)換為適合數(shù)字信號處理器DSP接收的數(shù)據(jù)格式后，發(fā)送給數(shù)字信號處理模塊；

通過FPGA在接收的數(shù)字圖像中嵌入顯示符號，將數(shù)字視頻信號發(fā)送給顯示終端，或轉(zhuǎn)化為PAL信號發(fā)送給顯示控制設備；顯示符號的插入與否，以及插入符號的選擇受數(shù)字信號處理模塊控制，通過設定FPGA接口芯片的工作參數(shù)實現(xiàn)；

接收數(shù)字信號處理模塊的控制命令，根據(jù)程序指令設定輸入數(shù)字圖像的采樣區(qū)域、輸出模擬視頻信號中嵌入的標志、符號、及其顯示位置；

數(shù)字信號處理模塊：

數(shù)字信號處理模塊為視頻圖像跟蹤信息處理系統(tǒng)的處理核心模塊，主要完成實現(xiàn)系統(tǒng)算法；其主要功能有：

向輸入－輸出模塊發(fā)送控制命令、工作參數(shù)和系統(tǒng)時鐘；

接收輸入－輸出模塊發(fā)送的數(shù)字圖像數(shù)據(jù)，完成數(shù)據(jù)處理任務；根據(jù)處理任務的要求對處理器的硬件結(jié)構(gòu)和組成進行實時在線重組；

根據(jù)數(shù)據(jù)處理的結(jié)果，生成跟蹤標志控制字，將跟蹤標志控制字與待顯示的數(shù)字圖像，送給輸入－輸出模塊；

通過通信接口模塊接收上位機的控制信號、轉(zhuǎn)臺姿態(tài)數(shù)據(jù)、成像傳感器掃描位置數(shù)據(jù)、傳感器視場角數(shù)據(jù)、系統(tǒng)測試與調(diào)試信號；

通過通信接口模塊向中心控制系統(tǒng)發(fā)送目標跟蹤誤差量、信號處理器工作狀態(tài)、信號處理器測試與調(diào)試信息；

信號處理器的算法軟件的功能包括：

地面背景靜止或運動小目標、成像面目標的穩(wěn)定跟蹤算法；算法能夠適應煙塵干擾、火光干擾、前景地物短時遮擋干擾，能夠在干擾過后繼續(xù)穩(wěn)定跟蹤；

通信接口模塊：

完成信號處理器與外部的接口，電平適配、數(shù)據(jù)格式轉(zhuǎn)換；

接收中心控制系統(tǒng)發(fā)送的各種控制信號和數(shù)據(jù)，并將其轉(zhuǎn)換為適合于數(shù)字信號處理模塊接收的數(shù)據(jù)格式與信號電平后，發(fā)送給數(shù)字信號處理模塊；

與系統(tǒng)上位機的RS422串行接口；

與序列圖像信號源的接口，將存儲于計算機硬盤中的外場試驗數(shù)據(jù)或理論計算數(shù)據(jù)實時注入信號處理器，對視頻圖像跟蹤信息處理系統(tǒng)進行調(diào)試與檢驗；

電源模塊：

向系統(tǒng)的各個模塊提供所要求的電源；

視頻圖像跟蹤信息處理系統(tǒng)使用具有柔性硬件結(jié)構(gòu)的嵌入式通用4片TS101數(shù)字模塊作為本系統(tǒng)的核心處理模塊，根據(jù)本系統(tǒng)的計算量需求使用1個4片TS101模塊；

數(shù)字信號處理模塊的算法軟件的功能包括：

地面背景靜止或運動小目標、成像面目標的穩(wěn)定跟蹤算法；算法能夠適應煙塵干擾、火光干擾、前景地物短時遮擋干擾，能夠在干擾過后繼續(xù)穩(wěn)定跟蹤；

在系統(tǒng)變焦時，穩(wěn)定跟蹤目標算法；

基于遺傳算法的快速圖像相關匹配；

基于后驗判別準則的目標遮擋判斷；

復合多模式目標跟蹤，采用形心和圖像相關匹配兩種方式對目標進行跟蹤，用于不同的跟蹤情況；當目標是具有一定信噪比或?qū)Ρ榷鹊狞c目標和小面目標階段，采用形心跟蹤方式進行跟蹤，當目標為具有一定尺寸的面目標，采用圖像相關匹配技術(shù)進行跟蹤，從形心跟蹤切換到相關跟蹤的基本依據(jù)是目標的尺寸，算法會根據(jù)目標的實際尺寸進行跟蹤算法的切換；

圖像鎖定跟蹤方法，包括以下步驟：

S1，系統(tǒng)待命狀態(tài)工作流程，系統(tǒng)上初始進入待命狀態(tài)，當接收到上位機發(fā)送的鎖定命令時，視頻圖像跟蹤信息處理系統(tǒng)，進入跟蹤狀態(tài)進行目標跟蹤，當收到上位機的解鎖命令時，視頻圖像跟蹤信息處理系統(tǒng)返回待命狀態(tài)；

S2，系統(tǒng)目標跟蹤任務流程，包括切割目標模板、穩(wěn)定跟蹤和目標遮擋判別；

所述步驟S1包括：

所述跟蹤系統(tǒng)主要針對地面的靜止或運動目標進行穩(wěn)定跟蹤，當接收到上位機發(fā)送的鎖定命令后，對上位機鎖定的位置進行跟蹤，并將跟蹤的誤差量，送給伺服系統(tǒng)；

伺服系統(tǒng)根據(jù)誤差量輸出控制伺服轉(zhuǎn)動，使跟蹤目標始終位于視場的中心；

視頻圖像跟蹤信息處理系統(tǒng)與外部視頻傳感器、上位機、伺服控制系統(tǒng)、顯示控制相連，視頻傳感器將視頻采集信號送給所述跟蹤系統(tǒng)；

上位機通過命令接口控制視頻圖像跟蹤信息處理系統(tǒng)，并接收視頻圖像跟蹤信息處理系統(tǒng)的狀態(tài)信息；

視頻傳感器將采集的圖像輸出給所述跟蹤系統(tǒng)，并將當前處理圖像的視場角發(fā)送給所述跟蹤系統(tǒng)；

伺服系統(tǒng)將當前位置的碼盤值實時發(fā)送給視頻圖像跟蹤信息處理系統(tǒng)，當視頻圖像跟蹤信息處理系統(tǒng)處于跟蹤狀態(tài)時，系統(tǒng)將目標的誤差量發(fā)送給伺服系統(tǒng)，由該系統(tǒng)對轉(zhuǎn)臺進行控制從而實現(xiàn)對目標的指向跟蹤；

視頻圖像跟蹤信息處理系統(tǒng)將處理的視頻結(jié)果傳輸給顯示控制設備，由顯示控制設備進行回傳顯示；

所述步驟S1還包括：

所述跟蹤系統(tǒng)的工作模式是接收上位機命令進行目標跟蹤，具體操作過程為，操作手將波門十字壓到目標身上后，發(fā)出鎖定命令，視頻圖像跟蹤信息處理系統(tǒng)利用相關跟蹤算法，對指定的目標區(qū)域進行自動跟蹤；

所述步驟S2包括：

進入跟蹤任務流程；

判斷是否收到跟蹤解鎖命令，是則返回到空閑任務狀態(tài)；

如沒收到跟蹤解鎖命令，則對波門十字中心的窗口區(qū)域進行采樣，獲取原始跟蹤圖像；

在原始跟蹤圖像上，獲取波門十字中心的目標區(qū)域模板圖像；

利用目標模板圖像，對目標進行匹配跟蹤處理，得到目標的跟蹤位置；

進行遮擋狀態(tài)判別，判斷跟蹤目標是否都被遮擋，如果是，則利用目標運動軌跡信息和目標模板信息進行目標再捕獲；同時，報告上位機當前目標的跟蹤狀態(tài)，并通知伺服系統(tǒng)轉(zhuǎn)入記憶外推狀態(tài)；如果在3-5秒時間內(nèi)，沒有再捕獲到目標，則報目標丟失；在屏幕上顯示當前系統(tǒng)的任務狀態(tài)和工作模式：用跟蹤波門標記跟蹤目標；如果跟蹤目標丟失，則顯示目標丟失狀態(tài)；

如果跟蹤目標沒被遮擋，將跟蹤目標的位置信息及跟蹤狀態(tài)報告給上位機，并生成目標誤差量，發(fā)送給伺服系統(tǒng)，控制伺服系統(tǒng)指向跟蹤目標；在屏幕上顯示當前系統(tǒng)的任務狀態(tài)和工作模式：用跟蹤波門標記跟蹤目標；如果跟蹤目標丟失，則顯示目標丟失狀態(tài)。