[發明專利]一種基于改進的KLT和卡爾曼濾波的電子穩像方法

在審

• 申請號: 201710563620.X
• 申請日: 2017-07-12
• 公開（公告）號: CN107222662A
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 李鋒;董峰;馮旗;王文秀;王梅竹;劉文浩;朱天佑
• 申請（專利權）人: 中國科學院上海技術物理研究所
• 主分類號: H04N5/21
• 分類號: H04N5/21;H04N5/14
• 代理公司: 上海滬慧律師事務所31311
• 代理人: 李秀蘭

技術領域

本發明涉及視頻相機視頻圖像處理領域，可應用于各種視頻相機，如視頻監控、手持攝像機、航天航空監測、軍事監測等，可較好的應用于紅外視頻相機電子穩像。

背景技術

電子穩像一直是視頻相機圖像采集系統的重點內容，視頻相機在成像過程中由于平臺的抖動和外界干擾導致相機在成像過程中得到的視頻序列帶有抖動甚至畸變，對場景觀測產生了極大的影響，同時也限制了高層次的視覺任務，比如視頻中特定運動目標的檢測和跟蹤。

視頻相機的電子穩像方法留有諸多難點：現有的電子穩像如塊匹配法通常適用于只有平移運動矢量的情況下，且對噪聲比較敏感以及對在動態場景中獲得的視頻幀序列匹配時容易引起匹配誤差。灰度投影法雖然算法速度比較快,但是要求圖像具有的灰度信息要變化豐富,否則將得不到準確的變化明顯的灰度投影曲線,導致電子穩像效果差。對于紅外視頻相機，獲取的視頻圖像噪聲較大、灰度信息變化不豐富，因此不適合利用塊匹配法和灰度投影法來實現電子穩像功能。

針對以上問題，本方法采用基于改進的KLT和卡爾曼濾波的電子穩像方法，KLT光流跟蹤法能夠比較精確的獲取視頻序列的當前幀與參考幀圖像的運動矢量，精度高，可以達到亞像素級，同時適用于存在平移、旋轉、縮放等復雜的場景中。

發明內容

本發明的目的，是要提供一種實時電子穩像方法，用于解決視頻相機由于平臺抖動和外界干擾引起的視頻序列抖動和畸變問題。

為實現上述目的，本發明采用如下技術方案：

1、本方法將電子穩像三步實施：1)運動矢量估計、2)運動濾波、3)運動補償。

2、所述的運動矢量估計方法如下，首先利用Shi-Tomasi角點檢測算法檢測參考幀圖像中的特征角點，然后利用金字塔模型改進Lucas-Kanade光流算法跟蹤匹配檢測到的特征角點，再利用基于統計方法的隨機抽樣一致性算法剔除匹配過程中產生的誤匹配點對，最后利用獲得的匹配點對帶入參考幀與當前幀圖像變換模型中，得到一組超定方程，利用最小二乘法擬合得到圖像序列間的全局運動矢量；

3、所述的運動濾波方法如下，利用卡爾曼濾波算法分離紅外視頻相機有意運動和無意的抖動，從而保留相機的有意運動，且對步驟1)得到的全局運動矢量參數進行修正得到修正的運動矢量參數。

4、所述的運動補償方法如下，利用步驟3)得到的修正運動矢量參數和視頻序列中的當前幀圖像和參考幀圖像之間的仿射變換模型對視頻序列運動矢量進行補償，得到穩定的視頻序列。

本發明的優點在于，有效解決視頻相機電子穩像處理過程中遺留的諸多難題：處理速度慢，不能做到實時，圖像紋理不明顯導致穩像精度差，不能解決圖像間存在旋轉等問題。同時，本方法不需要外加處理芯片，成本低，便于實現。

附圖說明

圖1為本發明詳細實現過程圖。

圖2為本發明具體實施示例穩像結果，圖a為穩像前視頻序列，其中圖(1)為穩像前的第30幀，圖(2)為穩像前的第54幀，圖(3)為穩像前的第78幀；圖b為穩像后視頻序列，其中圖(1)為穩像后的第30幀，圖(2)為穩像后的第54幀，圖(3)為穩像后的第78幀。

具體實施方式

下面結合具體實施例，即制冷型紅外視頻相機的電子穩像對本發明作進一步描述，在此僅用本發明的適宜性實例說明來解釋本發明，但并不作為本發明的限定。

制冷型紅外視頻相機由紅外探測器、模擬抖動平臺、數據采集系統、電源組成。在具體實施例中，利用抖動平臺模擬無意的抖動，從而會引起輸出視頻序列抖動，利用本發明方法解決這一問題。方法如圖1所示，由運動矢量估計、運動濾波、和運動補償三個部分組成。

首先，以紅外視頻序列中的某一幀為參考幀，對圖像進行預處理后，利用Shi-Tomasi角點檢測算法提取參考幀圖像中的特征角點，然后利用改進的基于金字塔模型的Lucas-Kanade光流算法跟蹤匹配檢測到的特征角點，再利用RANSAC算法剔除匹配過程中產生的誤匹配點對，最后根據匹配點對利用最小二乘法擬合得到當前幀圖像與參考幀圖像的全局運動矢量；

其次，利用卡爾曼濾波算法分離紅外視頻相機有意運動和無意的抖動，從而保留相機的有意運動，這里的無意抖動即模擬抖動平臺產生的不必要的抖動。

最后，利用經過濾波后得到的最終修正運動矢量參數和視頻序列中的當前幀圖像和參考幀圖像之間的仿射變換模型對視頻序列運動矢量進行補償，得到穩定的視頻序列。本例中電子穩像平均誤差為0.1318pixel,均方根值為0.0457.速度為每秒34幀。穩像結果見圖2所示。

以上所述，僅為本發明較佳的具體實施方式，但本發明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發明揭露的技術范圍內，根據本發明所述系統及其實施方法所做的同等變化及修飾，都應涵蓋在本發明的保護范圍之內。因此，本發明的保護范圍應該以權利要求的保護范圍為準。