[發明專利]一種基于中心自適應的視頻快速拼接方法

在審

• 申請號: 202010775795.9
• 申請日: 2020-08-05
• 公開（公告）號: CN111753856A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 陳健;張巖
• 申請（專利權）人: 中國人民解放軍96901部隊21分隊
• 主分類號: G06K9/46
• 分類號: G06K9/46
• 代理公司: 北京鼎德寶專利代理事務所(特殊普通合伙) 11823
• 代理人: 安軍永

本發明公開了一種基于中心自適應的視頻快速拼接方法。本發明主要針對提高無人機偵察視頻的拼接速度與效果的問題，提出一種基于中心自適應的視頻快速拼接方法。首先，基于自適應魯棒性尺度不變的特征檢測子對視頻各幀進行基于點的特征匹配。其次，提出改進的隨機抽樣一致性算法進行模型估計，并去除誤匹配點。最后，提出偵察影像快速拼接算法，計算各影像變換到正射拼接圖的單應性矩陣，完成視頻序列拼接。該方法在保證魯棒性的同時，提高了拼接速度，并改善了拼接效果。

技術領域

本發明涉及的是一種視頻快速拼接方法，具體涉及一種基于中心自適應的視頻快速拼接方法。

背景技術

近年來，無人機攝像技術得到飛速發展，特別是在軍事偵察與情報處理等領域被廣泛應用。但由于偵察視頻圖幅較小，無法完整呈現有用信息；在戰時，機體抖動、噪聲與光照變化，以及地面控制點難以獲取等因素，嚴重制約了視頻拼接效果與速度。因此，研究一種無人機偵察視頻快速拼接方法具有重要的應用價值。由于視頻幀間重疊度較大，特征匹配的魯棒性相對于航片拼接要求較低。其技術難點偏重于圖像變換模型估計與拼接策略的快速實現。對于以上兩種技術，國內外學者做了大量研究。

在模型估計方面：隨機抽樣一致性(Random Sample Consensus，RANSAC)算法是通過隨機抽樣來確定最優模型的。該算法可以處理數據中存在大量異常值的情況，但算法的執行效率較低。Randomized RANSAC算法是由Chum等人提出的。該算法預先對模型了篩選，起到了很好的提速作用，但算法實時性還是有待加強。基于預檢驗的快速隨機抽樣一致性算法是由陳付幸等人提出的。該算法對預處理環節進行了優化，節約了計算樣本誤差的時間，但算法對預判條件的設置的依賴性較強，對于不同樣本的自適應性較弱。RANSAC算法的自適應Tc，d預檢驗算法是由田文等人提出的。該算法實現了自適應調整預檢驗參數。雖然該算法增強了適用性，但處理正確率較低的樣本集時，實時性較差。

在拼接策略方面：周國清首先在數字正射影像圖上選取地面控制點，然后利用光束法平差得到正射影像，最后通過地理坐標進行鑲嵌，但拼接效果與實時性仍待提高。程詠梅等提出SIFT的航拍視頻圖像鑲嵌。該方法首先通過SIFT特征匹配算法檢測并描述特征，然后利用雙向匹配算法完成拼接，該方法魯棒性較強，但由于SIFT計算過于復雜，實時性不高。劉善磊等提出一種無人機視頻幀自動拼接方法，該方法以幀間重疊度作為拼接幀提取依據，利用SURF實現了視頻的拼接，然后利用光束法平差消除匹配誤差，但由于視頻沒有進行正射矯正，使得拼接結果不具有量測的功能，且該方法實時性不高。鄭暉等提出了一種無人機視頻幀自動拼接方法。該方法利用透視投影法消除幾何形變，然后利用CUDA加速的ORB算法得到幀間變換模型，最后應用LM算法優化單應性矩陣，該方法減小了拍攝帶來的誤差影像，增強了拼接效果，但拼接執行效率不高，同時該方法未討論多行帶間的拼接問題。楊濤等提出基于場景復雜度與不變特征的航拍視頻實時配準方法。該方法首先通過多尺度角點檢測和SIFT描述子進行特征匹配，然后利用RANSAC去除誤匹配，利用LM算法優化估計幀間變換模型。該方法增強了復雜度場景下，短時長、小分辨率的航拍視頻的拼接效果與實時性，但RANSAC執行效率不高，特征匹配算法的魯棒性與實時性有待加強。

由于上述算法在無人機視頻拼接的不同步驟仍存在以下問題：

1.傳統模型估計算法：基于樣本集的隨機抽樣與算法的運算結果之間是獨立的，沒有充分利用循環間的相關性；置信度計算復雜，根據置信度判斷是否跳出循環會降低運行效率。

2.傳統拼接算法：幀間特征匹配算法的魯棒性與實時性有待加強；過大的視頻幀圖幅會降低特征匹配的運行效率，但降采樣后的視頻幀拼接會造成拼接圖分辨力較弱；拼接圖難以自動置于圖像中心，并且未考慮多行帶間的拼接問題。

綜上所述，本發明提出了一種基于中心自適應的視頻快速拼接方法。

發明內容