[發明專利]一種單鏡頭全景拼接的方法

在審

• 申請號: 201710617305.0
• 申請日: 2017-07-26
• 公開（公告）號: CN107580175A
• 公開（公告）日: 2018-01-12
• 發明（設計）人: 任軼;劉琛;劉愛玲;尹萍;魏延文;邢新智
• 申請（專利權）人: 濟南中維世紀科技有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/235;H04N5/262;H04N5/265;H04N5/225;G06T3/40
• 代理公司: 濟南泉城專利商標事務所37218
• 代理人: 張貴賓

1. 一種單鏡頭全景拼接的方法，其特征在于：包括以下步驟：

（1）單鏡頭監控設備步長設置

根據用戶設置的采集圖像數量和視野范圍對單鏡頭監控設備進行步長計算并設置；

（2）啟動設置好步長的單鏡頭監控設備，依次采集與預設數量相符的圖像序列

啟動步驟（1）中設定好的監控設備，由監控設備自動采集與用戶設定好的參數相符的圖像序列；

（3）將采集到的圖像進行尺寸縮放備用

采用等間隔采樣的圖像縮小方法將采集到的圖像進行尺寸縮放；

（4）對采集到的原始圖像序列進行特征提取

提取ORB特征點，所述ORB特征提取是FAST特征點檢測方法和BRIEF特征描述子的結合與改進；

（5）對特征提取后的圖像進行特征點匹配

采用最近鄰和次近鄰特征匹配算法對特征提取后的圖像進行特征點匹配；

（6）粗略估計并計算出旋轉矩陣

利用步驟（5）中求出的匹配的特征點對攝像機參數進行粗略估計并計算出旋轉矩陣；

（7）進一步精確估計旋轉矩陣

利用光束平差法對攝像機參數進行校正并對旋轉矩陣做進一步精確估計旋轉矩陣；

（8）利用步驟（3）中進行了尺寸縮放的圖像查找最佳縫合線，對圖像進行拼接操作

用進行了尺寸縮放的序列圖像，統一利用旋轉矩陣及其他攝像機內參數矩陣進行投影變換，再對進行了尺寸縮放的圖像查找最佳縫合線，生成圖像最佳縫合線的掩膜，計算并按縮放比例統一重新計算原圖大小上的對應變換和圖像掩膜，并利用最佳縫合線的掩膜對圖像進行拼接操作；

（9）對圖像拼接重疊區域進行光照補償

對圖像拼接重疊區域進行光照補償以提高重疊區域較暗部分亮度，達到整體亮度平衡；

（10）對光照補償后的圖像進行圖像融合

采用多波段融合方法對光照補償后的圖像進行圖像融合，將圖像分解為不同頻率的圖像的疊加，在低頻部分使用波長較寬的加權信號進行融合，在高頻部分使用波長較窄的加權信號進行融合；

（11）圖像修正

對進行融合后的拼接圖像進行邊緣查找，去除多余黑邊，保證拼接圖像填充滿矩形視圖的四角，得到無黑邊的矩形全景拼接圖。

2.根據權利要求1所述的一種單鏡頭全景拼接的方法，其特征在于：步驟（3）中等間隔采樣圖像縮小需滿足以下要求：對原圖像像素進行均勻采樣，保持所選擇的像素可以反映原圖像的概貌特征。

3.根據權利要求1所述的一種單鏡頭全景拼接的方法，其特征在于：步驟（4）中ORB特征點提取過程包括以下步驟：

041）、采用FAST特征點檢測的方法來檢測特征點，首先對圖像進行粗提取，選取出若干候選點，對候選點進一步計算選出特征點；

042）、采用非極大值抑制算法去除臨近位置上多個特征點，保留響應值較大的特征點；

043）、通過構建高斯金字塔，在每一層金字塔圖像上檢測角點，實現特征點的尺度不變性；

044）、使用矩法確定特征點的方向，假設特征點的灰度與質心之間存在一個偏移向量，該向量作為特征點的方向，實現特征點的旋轉不變性；

045）、采用BRIEF特征描述法對已檢測到的特征點進行描述。

4.根據權利要求1所述的一種單鏡頭全景拼接的方法，其特征在于：步驟（5）中特征點匹配算法為：采用樣本特征點的最近鄰特征點距離與次近鄰特征點距離的比值來對特征點進行匹配，其中最近鄰特征點是指與樣本特征點具有最短歐幾里德距離的特征點，次近鄰特征點是指具有比最近鄰距離稍長的歐幾里德距離的特征點，設置一個特征點檢測置信閾值，小于該閾值即判斷特征點和樣本特征點匹配。

5.根據權利要求1所述的一種單鏡頭全景拼接的方法，其特征在于：步驟（7）中光束平差法具體做法為：將步驟（4）中提取的每一個特征點都映射到其他的圖像中，計算出使誤差的平方和最小的相機參數，得到最小化的映射誤差值，對步驟（6）中所有特征點加上該誤差值，并進一步精確估計出旋轉矩陣。