[發(fā)明專利]基于塊匹配的電子穩(wěn)像方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011120557.0
• 申請日: 2020-10-19
• 公開（公告）號: CN112422773B
• 公開（公告）日: 2023-07-28
• 發(fā)明（設計）人: 江雪雙;劉楊鴻
• 申請（專利權）人: 慧視江山科技(北京)有限公司
• 主分類號: H04N5/21
• 分類號: H04N5/21;H04N5/14
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

基于塊匹配的電子穩(wěn)像方法與系統(tǒng)，方法包括：(1)逐幀輸入圖像序列；(2)判斷當前幀是否為圖像序列的第一幀，若是，則將此幀標記為上一幀，并讀取下一幀；若不是，則以上一幀為參考幀，此幀標記為當前幀；(3)運用塊匹配方法進行平移運動估計，取上一幀的圖像塊作為待匹配塊，在當前幀中尋找最為匹配的圖像塊，找到后計算其平移運動矩陣；(4)旋轉運動估計，取上一幀的待匹配塊，對其以不同的角度進行旋轉，生成若干新的待匹配塊，并在當前幀中逐一尋找與其最匹配的圖像塊，生成旋轉矩陣；(5)利用平移矩陣和旋轉矩陣計算出當前幀最終的運動矩陣，并進行運動補償；(6)循環(huán)進行步驟(2)?(5)，直到圖像序列中所有幀都讀取完。

技術領域

本發(fā)明涉及視頻處理的技術領域，尤其涉及一種基于塊匹配的電子穩(wěn)像方法，以及一種基于塊匹配的電子穩(wěn)像系統(tǒng)，其可以有效地處理視頻中單一場景下的平移及旋轉變化。

背景技術

電子穩(wěn)像技術是計算機視覺中的一個熱門課題。在日常生活中，常常需要對攝像機拍攝的影像進行一些處理，例如目標檢測、目標跟蹤等等。然而劇烈的抖動往往會影響視頻處理的效果。以無人機為例，在運用無人機進行航拍的作業(yè)中，可能會遇到各種外界因素的干擾，例如大風、降雨等。這些因素都會導致無人機拍攝的畫面伴隨一定的抖動，最終影響拍攝效果。盡管當前許多已上市的無人機已具備一定的減震功能，但由于無人機自身可能存在過小過輕的或減震效果不足等問題，無人機的抗風性還是無法達到要求。因此，對無人機拍攝的畫面運用數(shù)字圖像處理相關的技術進行后期的電子穩(wěn)像處理是很有必要的。

在電子穩(wěn)像方法中，塊匹配法是最常用的方法之一。原因在于其原理簡單，便于實現(xiàn)，同時精確度高，穩(wěn)像效果好。然而，塊匹配法只能處理簡單的平移運動，并且其運行速度慢，達不到實時性要求。

發(fā)明內容

為克服現(xiàn)有技術的缺陷，本發(fā)明要解決的技術問題是提供了一種基于塊匹配的電子穩(wěn)像方法，其能夠處理較為復雜的平移運動和旋轉運動，并可以滿足實時性要求。

本發(fā)明的技術方案是：這種基于塊匹配的電子穩(wěn)像方法，其包括以下步驟：

(1)逐幀輸入圖像序列；

(2)判斷當前幀是否為圖像序列的第一幀，若是，則將此幀標記為上一幀，并讀取下一幀；若不是，則以上一幀為參考幀，此幀標記為當前幀；

(3)運用塊匹配方法進行平移運動估計，取上一幀的圖像塊作為待匹配塊，在當前幀中尋找最為匹配的圖像塊，找到后計算其平移運動矩陣；

(4)旋轉運動估計，取上一幀的待匹配塊，對其以不同的角度進行旋轉，生成若干新的待匹配塊，并在當前幀中逐一尋找與其最匹配的圖像塊，生成旋轉矩陣；

(5)利用平移矩陣和旋轉矩陣計算出當前幀最終的運動矩陣，并進行運動補償；

(6)循環(huán)進行步驟(2)-(5)，直到圖像序列中所有幀都讀取完。

本發(fā)明將旋轉估計模塊加入到傳統(tǒng)的塊匹配算法中，即通過生成不同旋轉角度的待匹配塊，尋找與上一幀最為匹配的旋轉角度，結合之前的平移運動估計，求得最終的運動矩陣，并利用CUDA編程技術，使該方法能夠處理較為復雜的平移運動和旋轉運動，并可以滿足實時性要求。

還提供了基于塊匹配的電子穩(wěn)像系統(tǒng)，該系統(tǒng)采用OpenCV的CUDA加速模塊，該系統(tǒng)包括：

輸入模塊，其配置來逐幀輸入圖像序列；

判斷模塊，其配置來判斷當前幀是否為圖像序列的第一幀，若是，則將此幀標記為上一幀，并讀取下一幀；若不是，則以上一幀為參考幀，此幀標記為當前幀；

平移運動估計模塊，其配置來運用塊匹配方法進行平移運動估計，取上一幀的圖像塊作為待匹配塊，在當前幀中尋找最為匹配的圖像塊，找到后計算其平移運動矩陣；