[發明專利]一種全景影像無縫拼接方法

有效

• 申請號: 201910369949.1
• 申請日: 2019-05-06
• 公開（公告）號: CN110175011B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 紀秀;楊華民;韓成;李華;胡漢平;張超;蔣振剛;權巍;耿雪娜;徐春鳳;徐超
• 申請（專利權）人: 長春理工大學
• 主分類號: G06F3/14
• 分類號: G06F3/14;G06T3/40;H04N5/265
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 楊瑾

1.一種全景影像無縫拼接方法，其特征在于：主要包括：

步驟a1、假設有若干個影像，每個影像分別由a1，a2，...，an；b1，b2，...，bn；...；d1，d2，...，dn；.....幀構成，分別對原始影像的a1～an幀圖像進行預處理，對a1、b1、...、d1；a2、b2、...、d2；.....幀圖像進行預處理并采用改進ORB算法對該幀圖像進行圖像配準；

步驟a2、PROSAC算法剔除虛假匹配；

步驟a3、計算上述步驟中已匹配特征點坐標關系的數學模型，即變換矩陣H；

步驟a4、計算接縫線；

步驟a5、改進的加權平均融合方法將a1、b1、...d1幀圖像融合成全景無縫圖像；

步驟a6、當第一幀a1、b1、...d1的圖像拼接完成后，利用卡爾曼濾波結合交互多模型(IMM-FT)對該幀檢測到的特征點進行跟蹤，以預測在下一幀a2、b2、..d2圖像中特征點的位置并完成校正；

步驟a7、重復上述步驟直至所有幀拼接完畢；

所述對原始影像的a1～an幀圖像進行預處理方法包括：

步驟b1、加權中值濾波對原始圖像進行降噪；

步驟b2、直方圖匹配方法對原始圖像進行調整，使其處于相同或相近的亮度水平；

所述采用改進的ORB算法進行圖像配準，具體包括以下三個步驟：

步驟c1、用Oriented FAST算法來進行特征點檢測，并計算特征點主方向；

步驟c2、利用改進的BRIEF算法進行特征點描述，生成Rotated BRIEF特征描述子；

步驟c3、在特征點匹配中，改進原算法，以減少單一的Hamming距離可能造成的不正確匹配的數量，

過程如下：

a.計算Hamming距離D，r₁和r₂是分別是兩個二進制串形式的特征點描述子，則Hamming距離

b.計算兩個特征點Hamming距離相似度：式中n為r₁和r₂描述子的長度，S_Hamming越大則兩個特征點相似度越高，本發明設置Hamming距離相似閾值S_Thr1＝0.8，若S_Hamming＞S_Thr1，則兩個特征點匹配，否則不匹配；

c.計算上述步驟b中匹配的特征點對即滿足S_Hamming＞S_Thr1的特征點對的余弦相似度S_cos，a₁和a₂是分別是兩個向量形式的特征點描述子，S_cos∈[-1,1]，S_cos越大則兩個特征點相似度越高；

d.將步驟b中計算的S_cos與余弦相似閾值S_Thr2進行對比，若余弦相似度S_cos＞S_Thr2，則為正確匹配，反之，則為錯誤匹配；

e.同時滿足以下兩個條件的匹配記為正確匹配：①S_Hamming＞S_Thr1，②S_cos＞S_Thr2，否則為錯誤匹配，予以剔除；

f.重復以上步驟a-e直至所有特征點匹配完畢，

所述計算接縫線的步驟如下：

步驟1、計算Grdist矩陣，其計算過程如下：

GrImg＝|grImg₁-grImg₂|+mask，

數字彩色圖像是M×N的三維矩陣，M×N表示圖像尺寸，單位是像素，三維可以理解為M×N的矩陣有三個，分別是R、G、B域的值，上式中Img₁和Img₂是具有重疊區域的圖像，即圖像矩陣，Img₁-Img₂是圖像矩陣的差值，max_r、min_r、max_c、min_c分別是圖像矩陣行和列的最大值和最小值，mean_r(RGB)和mean_c(RGB)分別是圖像矩陣行和列的平均值，T_(RGB)是計算得到的一個閾值，mask是一個比較生成的邏輯矩陣，GrImg是求得的灰度圖像，grImg₁和grImg₂是圖像的梯度，|grImg₁-grImg₂|代表對求得的差值矩陣的每個元素取絕對值，再計算GrImg的每個像素點的灰度加權距離，把這些計算得到的灰度加權距離寫入矩陣Grdist中，即得到Grdist矩陣；

步驟2、計算值矩陣Val，其計算方法如下：ImgDif＝|Img₁-Img₂|,其中Img_i是帶有重疊區域的圖像，ImgDif是圖像矩陣差值的絕對值，ImgDif_max和ImgDif_mid表示對Img₁-Img₂圖像矩陣的R、G、B三個矩陣的對應元素取最大值和中間值；

步驟3、確定滿足最佳路徑的點，在Grdist矩陣中選定一個中心點及其相鄰的八個點組成的塊，選擇值小于中心點的相鄰點，這些相鄰點中，值矩陣中對應的值最小的點將被選為下一個點；

步驟4、對步驟3進行迭代計算，直到確定矩陣中所有滿足上述條件的點，最后這些點可確定最佳接縫，

所述改進的加權平均融合方法，其計算方法如下：

f(x,y)＝α₁f₁(x,y)+α₂f₂(x,y),(x,y)∈(f₁∩f₂)，式中f是融合的圖像，f₁和f₂是圖像的重疊部分，分別是f₁和f₂中像素對應的權重，α₁+α₂＝1，α₁＜1,α₂＜1，W_x為重疊區域的寬度，(x，y)是像素點的坐標；

所述利用卡爾曼濾波結合交互多模型方法對該幀檢測到的特征點進行跟蹤，步驟如下：

步驟1-1、輸入交互：由上一個周期和協方差得到的狀態估計S_1P和S_2P，在t-1時刻根據條件概率模型混合交互得到S_o1P和S_o2P；

步驟1-2、卡爾曼濾波器跟蹤特征點位置，步驟如下：

A、卡爾曼濾波的預測階段：

(A1)、計算狀態模型：S(t)＝A(t)*S(t-1)+W(t-1)，式中S(t)表示位置狀態模型，A(t)是狀態轉移矩陣，S(t-1)為上一幀的位置狀態模型，W(t-1)是高斯白噪聲；

(A2)、計算測量模型：M(t)＝H(t)*S(t)+V(t)，式中M(t)代表測量模型，H(t)為測量矩陣，V(t)為高斯白噪聲；

(A3)、計算先驗位置：S_Priori(t)＝A(t)*S(t-1)，式中S_Priori(t)是先驗位置；

(A4)、計算先驗協方差：P_Priori(t)＝A(t)*P(t-1)*A(t)^T+Q(t)，式中P_Priori(t)為先驗協方差，P(t-1)表示上一幀的協方差，T代表變換，Q(t)是過程噪聲的協方差；

B、卡爾曼濾波的校正階段，校正上一步驟中預測的特征點位置，其計算過程如下：

(B1)、計算卡爾曼增益：K(t)＝P_Priori(t)*C(t)^T*(C(t)*P_Priori(t)*C(t)^T+R(t))^-1，式中C(t)是狀態模型和測量模型之間的轉換關系，R(t)是測量噪聲協方差，計算中已知；

(B2)、計算后驗位置：S_Posteriori(t)＝S_Priori(t)*K(t)*(M(t)-H(t)*S_Priori(t))，

(B3)、計算后驗協方差：P_Posteriori(t)＝(I-K(t)*H(t))*P_Priori(t)，

(B4)、校正完成后，更新下一狀態協方差噪聲，以預測下一個特征點位置的下一個狀態和協方差，

步驟1-3、更新模型概率；

步驟1-4、根據單個模型單獨計算的跟蹤結果和模型匹配得權重輸出t時刻交互數據結果，

步驟1-5、使用當前幀的單個狀態運動模型估計作為下一幀的狀態估計，并且對每個后續幀繼續處理，以完成所有幀的特征點位置預測和校正。