[發明專利]基于馬爾可夫隨機場的遠程塔臺視頻目標掛標牌方法

有效

• 申請號: 202010635670.6
• 申請日: 2020-07-03
• 公開（公告）號: CN111814654B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 何亮;程先峰;楊愷;葉鑫鑫;劉勝新
• 申請（專利權）人: 南京萊斯信息技術股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06V10/84;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 賀翔

1.一種基于馬爾可夫隨機場的遠程塔臺視頻目標掛標牌方法，其特征在于，步驟如下：

1)建立模型：假定連續視頻幀中背景圖像線性相關，運動目標則視為在視頻序列線性分解過程中無法納入背景矩陣中的像素，通過求解背景估計和前景標號集，對視頻幀圖像中的像素進行背景和前景的分類標記；

2)使用貪婪算法求解連續視頻幀序列的稀疏表示，獲得對背景的初步估計；

3)利用遞歸神經網絡求解圖像分割問題，獲得對前景標號集的估計；利用該前景標號集，對步驟2)求得的背景的初步估計進行修正，得到前景目標跟蹤結果和背景估計；

4)采用針孔透視模型建立從視頻圖像坐標系到世界坐標系的轉換矩陣，求解視頻幀中的前景目標跟蹤結果在世界坐標系下的坐標位置；采用最近鄰方法建立上述世界坐標系下的目標坐標點位置與廣播式自動相關監視數據的對應關系，從而把廣播式自動相關監視中的標牌信息關聯到視頻上，實現自動掛標牌；

所述步驟1)具體包括：采用I_t∈R^m表示由視頻序列中第t幀的圖像按列堆疊形成的向量，該幀包括m個像素；D＝[I₁,…,I_t]∈R^m×t為由表示幀的向量I組成的矩陣，代表了包括t幀組成的視頻圖像序列；B∈R^m×t是與D同維的矩陣，表示視頻幀中的背景，由t幀向量組成，每幀m個像素；第t幀第k個像素記為kt；用圖像灰度來度量背景的強度，則在考察周期內照明條件基本不變的情況下，認為連續視頻幀序列中背景強度基本不變，故對于一段連續視頻序列D，其各組成幀中背景圖像認為是線性相關的，運動目標則視為在視頻序列線性分解過程中無法納入背景矩陣B中的像素，記為前景E，將當前幀t中的目標看成其之前t-1幀向量張成的子空間中的一個線性表示，記前t-1幀組成的矩陣為D_t-1＝[I₁,…,I_t-1]，則第t幀的圖像記為：

y_t＝B+E＝D_t-1x+E (1)

由各幀中背景組成的矩陣B＝D_t-1x是一個低秩矩陣，即背景矩陣B滿足rank(B)≤K，K為預定義常數，且系數x為稀疏向量；考慮場景中噪聲的影響，并假定噪聲服從均值為0，方差為σ²的高斯白噪聲，式(1)視頻幀信號表示為：

其中，I為單位矩陣，x_eI代表高斯白噪聲，在噪聲影響下，第t幀的視頻圖像像素灰度值的大小記為y_kt＝B_kt+e_kt＝ψ_ktx+e_kt；定義二值標號支撐集S∈{0,1}^m×n作為圖像像素標號，其元素規定為：

則背景建模問題歸結為求解下式(4)所示的優化問題：

當S_kt＝1即像素kt屬于前景時，背景被前景覆蓋，視頻幀信號的灰度與前景相同，故對目標的檢測實際就是對前景標號集的估計；由于圖像中相鄰像素標號間存在相互作用，導致圖像標號場不分段光滑，定義E_smooth記錄標號場不分段光滑的程度，E_data記錄標號與實測數據的誤差，將對前景標號集的估計問題轉化為對標號場能量優化問題，即令：

E(S)＝E_smooth(S)+E_data(S) (5)

取得最小值；

在支撐集S的線性矩陣空間中定義矩陣X的正交投影：

是Γ_S(X)的補，有對視頻幀中動態航空器目標y的檢測就是對下式能量函數的最小化；

其中，參數α0是與系數向量x稀疏度相關的常數，控制著背景的復雜度。