[發明專利]一種基于投影變換和薄板樣條的全景成像方法

有效

• 申請號: 201710459891.0
• 申請日: 2017-06-17
• 公開（公告）號: CN107330856B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 屈惠明;崔振龍;劉李鳳;龍泉舟;傅曉夢;刁海瑋
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06T3/20;G06T7/33
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱顯國

1.一種基于投影變換和薄板樣條的全景成像方法，其特征在于，包括以下步驟：

步驟1、從左到右采集三幅圖像，依次為第一圖像、第二圖像和第三圖像，相鄰兩幅圖像在水平方向存在部分重疊；

步驟2、采用sift算法對每幅圖像提取特征點，并生成特征描述向量；

步驟3、采用brute-force搜索算法結合比率驗證方法對相鄰圖像的特征點進行匹配；

步驟4、采用多結構擬合算法對相鄰兩幅圖像的特征匹配做進一步的篩選，擬合出地平面和遠景兩個平面模型；

步驟5、根據擬合的平面模型確定一條水平界線，將每幅圖像的特征點分為上下兩部分，得到上下兩個子圖像；

步驟6、對相鄰兩幅圖像上部分的特征匹配采用DLT算法估計出第一圖像、第三圖像到第二圖像的投影變換矩陣，并根據投影變換矩陣將第二圖像下部分的特征點分別映射到第一、第三圖像下部分子圖像中；

步驟7、將第一、第三圖像下部分子圖像的特征點和映射點分別作為薄板樣條變形前后的控制點，基于薄板樣條函數對第一、第三圖像進行變形處理；

步驟8、根據投影矩陣將變形后的第一、第三圖像變換到第二圖像的坐標系中，使得3幅圖像上下兩部分都得到了對齊，得到全景圖；

步驟3進行特征點匹配的具體方法為：

步驟3.1、對相鄰兩幅圖像的特征描述向量集合做循環遍歷，選擇兩幅圖像中歐式距離小于距離閾值的特征向量對作為單向匹配候選；

步驟3.2、從單向匹配候選集中選擇每個特征向量的兩個最近鄰描述向量，僅當第一近鄰匹配的歐式距離與第二近鄰的比值小于比值閾值時，則確認是正確的匹配，否則確認是錯誤的匹配，將其剔除。

2.根據權利要求1所述的基于投影變換和薄板樣條的全景成像方法，其特征在于，步驟1中相鄰圖像之間有20％-60％的重疊區域。

3.根據權利要求1所述的基于投影變換和薄板樣條的全景成像方法，其特征在于，步驟4的多結構擬合算法采用殘差排序獲得的信息引導并加速假設采樣過程。

4.根據權利要求1所述的基于投影變換和薄板樣條的全景成像方法，其特征在于，步驟6的DLT算法表示如下：

A_ih＝0

其中，x和y、u和v分別是兩幅圖像中特征點的橫縱坐標，h＝(h₁,h₂,h₃,h₄,h₅,h₆,h₇,h₈,h₉)^T表示投影變換矩陣的元素。

5.根據權利要求1所述的基于投影變換和薄板樣條的全景成像方法，其特征在于，步驟7中薄板樣條變換函數表示如下：

式中，φ(r_i)＝r_i²logr_i為徑向基函數，其中x和y分別是兩幅圖像中像素點的橫縱坐標，x_i和y_i分別是控制點的橫縱坐標，w_1i和w_2i表示徑向基函數的權值；a₁₁、a₁₂、a₂₁、a₂₂、b₁、b₂是6個仿射系數，n是控制點的數目。