[發明專利]一種紅外視頻拼接方法和裝置

在審

• 申請號: 201611259450.8
• 申請日: 2016-12-30
• 公開（公告）號: CN106851092A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 蔡澤彬;秦清;劉洋;姜向宏;桑成偉;劉根
• 申請（專利權）人: 中國人民解放軍空軍預警學院監控系統工程研究所
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/235;G06T3/40
• 代理公司: 北京匯澤知識產權代理有限公司11228
• 代理人: 程殿軍,張瑾

1.一種紅外視頻拼接方法，其特征在于，所述方法包括：

提取紅外視頻中每幅圖像的特征點，計算出每個特征點的描述符；

根據所述特征點的描述符和隨機采樣一致算法匹配兩兩圖像，建立所述兩兩圖像的匹配特征點對列表；

根據所述匹配特征點計算出攝像機的仿射矩陣，根據所述攝像機的仿射矩陣用最小本征法求解出向上矢量，根據所述向上矢量對所述圖像進行水平拉直處理；

計算所述視頻中所有圖像在重疊區域內光強與增益乘積差值的總和，并求解得到每幅圖像的增益系數，根據所述增益系數對所述每幅圖像進行曝光補償；

將每幅圖像投影到同一個球面坐標系中，在重疊區域用多層混合算法進行無縫拼接，生成拼接后的全景圖；

其中，對所述圖像水平拉直處理后進行曝光補償，或對所述圖像曝光補償后進行水平拉直處理。

2.如權利要求1所述的方法，其特征在于，所述提取視頻中每幅圖像的特征點之前，所述方法還包括對視頻中每幅圖像進行亮度矯正預處理，具體為：

矯正后的圖像亮度為原始圖像亮度乘以矯正系數，

其中，為該像素點在圖像中的位置，為每幅圖像的中心點位置，為原始圖像在水平和垂直方向的方差。

3.如權利要求2所述的方法，其特征在于，所述提取視頻中每幅圖像的特征點，具體包括：

利用多個方差高斯函數的二階偏導數對每幅圖像進行卷積，得到所述每幅圖像積分圖像；

計算所述積分圖像中各像素點矩陣的行列式值，將超過門限的極值點作為特征點進行提取。

4.如權利要求2所述的方法，其特征在于，所述根據所述特征點的描述符和隨機采樣一致算法匹配兩兩圖像，建立所述兩兩圖像的匹配特征點對列表，具體包括：

計算所述特征點的主方向，將原圖像旋轉到所述主方向獲取特征點的64維描述符矢量；

利用加速魯棒特征算法提取的特征點描述符建立KD樹；

在所述KD樹中利用最近鄰查詢法快速搜索出兩兩圖像匹配的特征點，建立兩兩圖像的匹配特征點對列表。

5.如權利要求2所述的方法，其特征在于，根據所述匹配特征點計算出攝像機的仿射矩陣，具體包括：

獲取所述匹配特征點的圖像中心點，獲取所述圖像在水平方向或垂直方向的焦距；

根據所述圖像中心點和所述焦距計算出攝像機的本征矩陣；

獲取所述匹配特征點的圖像的歐拉角，根據所述歐拉角得到所述攝像機的姿態矩陣；

根據所述攝像機的本征矩陣和所述攝像機的姿態矩陣，得到所述攝像機的仿射矩陣。

6.如權利要求5所述的方法，其特征在于，所述攝像機的仿射矩陣為

其中，為攝像機的本征矩陣，為攝像機的姿態矩陣，(u₀,v₀)為圖像中心點，f_i為水平和垂直方向的焦距。

7.如權利要求2所述的方法，其特征在于，所述根據向上矢量對所述圖像進行水平拉直處理，具體包括：

根據所述向上矢量計算出全局的旋轉矩陣；

將每個攝像機的姿態矩陣乘以旋轉矩陣，得到在水平方向拉直的全景圖像。

8.如權利要求6所述的方法，其特征在于，所述在重疊區域用多層混合算法進行無縫拼接，生成拼接后的全景圖具體包括：

計算重疊區域內像素點的混合光強，

其中，其中為第i幅圖像標準差為的混合權重，為第i幅圖像標準差與標準差的混合光強差

根據所述混合光強對重疊區域進行多層混合拼接，生成拼接后的全景圖。