[發明專利]一種基于變換矩陣的全景圖像拼接的方法

在審

• 申請號: 201911083159.3
• 申請日: 2019-11-07
• 公開（公告）號: CN111062866A
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 王玥;付強;梁錫鉛;姚江云;曹乃文
• 申請（專利權）人: 廣西科技大學鹿山學院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06T5/00;G06K9/46;G06K9/62
• 代理公司: 河南豫龍律師事務所 41177
• 代理人: 王政偉

1.一種基于變換矩陣的全景圖像拼接的方法，其特征在于該方法具體包括以下步驟：

S1、對獲取圖像進行畸變校正和影像去噪等預處理操作；

進一步地，在S1中對獲取圖像進行畸變校正和影像去噪等預處理操作還包括：所述對獲取圖像進行畸變校正是對所述獲取圖像進行影像重采樣的過程，通過相機參數建立畸變影像與未畸變影像之間的映射關系，在確定了所述畸變影像與所述非畸變影像之間的映射關系后，對所述未畸變影像采用雙線性插值法，對所述獲取圖像進行重采樣處理；在所述步驟S1中對所述獲取圖像進行影像去噪的過程中，利用基于非線性平滑濾波的中值濾波。

S2、提取特征點；

進一步地，在提取特征點階段，SIFT描述符用于對所述獲取圖像之間特征點的對應關系，由于圖像可能有非剛性變化，基于矢量場共識(VFC)的非剛性匹配算法，給定一組假定的SIFT匹配；

S3、對所述提取的特征點進行匹配；

具體地，對所述提取的特征點進行匹配包括：多幅圖像拼接配準時的第一步是將所有圖像投影到的參考平面，首先輸入一個圖像，并通過全景圖像的特征匹配來識別所有重疊的圖像，再選擇重疊部分最多的圖像作為參考平面，以使其他圖像可以通過單向彎曲投影到參考平面；

使用直接線性變換(DLT)計算圖像之間四對的特征匹配點，在圖像的拼接配準時，不僅在更改單個響應時，還需要通過圖像分類減少由單個響應引起的配準誤差，每個差異形成一個基本的單應矩陣；

在匹配兩個圖像之后，可以通過單應性將源圖像投影到目標圖像上，在拼接多個圖像時，尤其是在多個重疊區域中，會積累并逐步放大誤差，優化投影功能，以在最小均方誤差的框架下配準全景圖像并減少累積的誤差；

S4、對所述圖像進行拼接、融合，并輸出全景圖像；

具體地，所述對圖像進行融合包括通過漸入漸出融合，通過確定的權值對兩幅或者多幅待融合的圖像進行求和操作，以確定待融合圖像重疊區域的像素值。

2.基于權利要求1所述的一種基于變換矩陣的全景圖像拼接的方法，其特征在于：步驟S2中，首先使用SIFT特征描述符以提取特征點并建立初始點集其中x_n＝{x_i，i＝1，2，3，...，N}、y_n＝{y_j，j＝1，2，3，...，N}表示初始點，并且，令f表示非剛性變換在兩個特征點之間，即對于映射到的每個點(x_n，y_n)，y_n＝f(x_n)，通過高斯混合模型和均勻分布表示所述獲取圖像之間特征點的對應關系，即：

其中θ＝{f，σ²，γ}表示未知變量的集合。特別地，γ是混合系數，σ是誤差的標準偏差，a是常數，指示異常值具有均勻分布，γ表示觀測變量，X表示隱變量。特別地，將樣本n與潛在變量z_n相關聯，其中z_n∈{0，1}，其中z_n＝1代表高斯分布，z_n＝0代表均勻分布。

3.基于權利要求1所述的一種基于變換矩陣的全景圖像拼接的方法，其特征在于：所述S2還包括：

使用直接線性變換(DLT)計算圖像之間的單個響應，在圖像的拼接配準時，不僅通過單個響應來更改，還通過圖像分類減少由單個響應引起的配準誤差，并且每個差異形成一個基本的單應矩陣。

4.基于權利要求1所述的一種基于變換矩陣的全景圖像拼接的方法，其特征在于：所述S2還包括：為了并省略了項目與θ不相關，通過公式(2)和公式(3)獲取完整數據的對數似然函數：

具體地，通過估計當前參數集θ中屬于內部樣本的每個樣本(x_n，y_n)的后驗概率，并根據貝葉斯準則得出樣本集的后驗概率p_n。