[發明專利]視角可配置的攝像機全景拼接方法

有效

• 申請號: 202110042844.2
• 申請日: 2021-01-13
• 公開（公告）號: CN112365407B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 龔勛;文超豪;勞博基
• 申請（專利權）人: 西南交通大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/33;G06K9/62;H04N19/157
• 代理公司: 成都東恒知盛知識產權代理事務所(特殊普通合伙) 51304
• 代理人: 羅江

1.視角可配置的攝像機全景拼接方法，其特征在于：包括以下步驟：

一、多個IP攝像機輸入視頻流數據在GPU中解碼，得到多個解碼圖像；

二、對解碼圖像進行圖像配準：包括圖像特征提取、圖像特征匹配和相機參數估計、優化與矯正；

相機參數估計、優化與矯正的方法為：先使用最大樹生成法在多幅圖像中找到基準圖像，然后計算相機內外參數，接著使用光束平差法矯正，最后進行波形矯正；

三、對配準后的圖像進行圖像融合，得到全景圖像：圖像融合包括映射變換、投影變換、分割填充和接縫兩側區域融合；

投影變換選擇球體投影方法進行投影，球體投影正向投影公式為：

s表示尺度；

反向投影公式為：

由(X，Y，Z)得到(u，v，1)的公式為：

(u，v，1)為圖像坐標系，(X，Y，Z)為世界坐標系，R為旋轉矩陣，K為相機的內參數矩陣；

最后根據投影公式計算出圖像變換Map；

分割填充的方法為：根據投影變換參數，選擇基于距離準則的逐點法計算接縫線，即原圖像分割線，然后對源圖像裁剪和目標全景圖像填充；

四、全景圖像在GPU上編碼，然后使用標準視頻流RTSP協議推送到視頻流服務器供客戶端拉取。

2.根據權利要求1所述的視角可配置的攝像機全景拼接方法，其特征在于：步驟一中，在GPU解碼中，解碼器首先得到視頻數據流包，從視頻流的第一個數據包中讀取預先配置的參數來配置解碼器，然后解碼為YUV格式圖像。

3.根據權利要求2所述的視角可配置的攝像機全景拼接方法，其特征在于：步驟二中，先將YUV圖像轉為RGB圖像，然后在RGB圖像序列下進行配準。

4.根據權利要求3所述的視角可配置的攝像機全景拼接方法，其特征在于：步驟二中，圖像特征提取采用SURF算法。

5.根據權利要求4所述的視角可配置的攝像機全景拼接方法，其特征在于：步驟二中，圖像特征匹配采用KNN匹配和RANSAC優化匹配方法；KNN匹配公式為：

式中，ρ表示匹配閾值，L_ab和L_ac為兩個特征點的距離；

而RANSAC優化匹配方法為：先利用匹配點計算單應性矩陣，然后利用重投影誤差判定某一個匹配是否為正確匹配，不正確則剔除。

6.根據權利要求5所述的視角可配置的攝像機全景拼接方法，其特征在于：步驟三中，映射變換的公式為：

式中，(u，v，1)為圖像坐標系，(X，Y，Z)為世界坐標系，R為旋轉矩陣，K為相機的內參數矩陣。

7.根據權利要求6所述的視角可配置的攝像機全景拼接方法，其特征在于：步驟三中，接縫兩側區域融合的方法為：對接縫線進行了平滑虛化處理，通過漸變權重的方法達到自然銜接的效果，其公式為：

P＝I₁W₁+I₂W₂；

式中P表示融合后新圖像的像素矩陣，I₁和I₂分別表示源圖像接縫線兩側區域內的像素矩陣，W₁和W₂分別為I₁和I₂的對應權重矩陣，即在接縫區域兩幅圖像對應像素點的值乘以對應的權值，然后相加得到新的像素點，組成的新的圖像。