[發明專利]基于相機陣列的全景成像方法

有效

• 申請號: 201710407833.3
• 申請日: 2017-06-02
• 公開（公告）號: CN107301620B
• 公開（公告）日: 2019-08-13
• 發明（設計）人: 李甫;頡朝敏;牛毅;石光明;張犁
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/60;G06T5/50;G06T7/33
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

1.一種基于相機陣列的全景成像方法，包括：

(1)使用陣列相機完成多幅圖像的同時采集，獲取i幅圖像；

(2)讀入兩幅圖像并分別提取尺度不變特征變換特征點，即SIFT特征點:

(2a)構造高斯金字塔及高斯差分金字塔，檢測尺度空間極值；

(2b)將(2a)中的尺度空間極值作為關鍵點，對該關鍵點進行定位和方向確定；

(2c)對于每個完成定位和方向確定的關鍵點周圍圖像區域進行分塊，并在該關鍵點為中心的4×4的塊內計算8個方向的梯度直方圖，繪制每個梯度方向的累加，生成具有獨特性的128維的向量，用該向量將這個關鍵點描述出來，得到兩幅圖像的SIFT特征；

(3)對步驟(2)所得SIFT特征點進行特征匹配查找，得到每兩幅圖像的匹配點:

(3a)采用k-d樹算法根據步驟(2)所得的特征點對待拼接圖像中的特征點建立k-d樹；

(3b)采用BBF算法對圖像進行特征匹配查找，實現兩個圖像的特征點匹配：

(3b1)對輸入圖像中的每個特征點，在k-d樹中查找出待拼接圖像中與之歐氏距離最近的前兩個最近鄰特征點；

(3b2)將指定特征點與兩個最近鄰特征點中第一個最近鄰的歐式距離與指定特征點與第二個最近鄰的歐式距離求比值，并將該比值與設定的比例閾值0.49進行比較：

如果比值小于該比例閾值，則接受指定特征點與第一個最近鄰點為一對匹配點，實現兩個圖像的特征點匹配；否則不接受指定特征點與第一個最近鄰點為一對匹配點；

(4)對步驟(3)所得的每兩幅圖像匹配點進行篩選并計算最優變換矩陣H:

(4a)將步驟(3)中所得匹配點對作為樣本集，從樣本集中隨機抽選一個RANSAC樣本，即4個匹配點對；

(4b)根據這4個匹配點對計算當前變換矩陣L；

(4c)根據樣本集、當前變換矩陣L和誤差度量函數，得到滿足當前變換矩陣L的一致集C，并記錄一致集中元素的個數a；

(4d)設定一個最優一致集，初始元素個數為0，將當前一致集中元素個數a與最優一致集中元素個數做比較：如果當前一致集中元素個數a大于最優一致集中元素個數，則將最優一致集更新為當前一致集，否則，則不更新最優一致集；

(4e)計算當前錯誤概率p：p＝(1-in_frac^s)^o，其中，in_frac為當前最優一致集中元素個數占樣本集中樣本總數的百分比，s是計算變換矩陣需要的最小特征點對個數，取值為s＝4，o是迭代次數；

(4f)將計算當前錯誤概率p與允許的最小錯誤概率0.01進行比較：

如果p大于允許的最小錯誤概率，則返回步驟(4a)，直到當前錯誤概率p小于最小錯誤概率為止；

如果p小于允許的最小錯誤概率，則當前最優一致集對應的變換矩陣L即為所求的最優變換矩陣H；

(5)根據步驟(4)所得最優變換矩陣對圖像進行變換，并進行圖像融合：

(5a)根據步驟(4)所得最優變換矩陣對輸入兩幅圖像中的任意一幅進行變換，使得兩幅圖像位于同一坐標系中且兩幅圖像具有重疊區域；

(5b)對(5a)中變換到同一坐標系的兩幅圖像進行亮度校正，使兩幅圖像的亮度差異最小:

(5b1)將待拼接圖像與輸入圖像均轉化為灰度圖，分別計算出待拼接圖像的像素和與輸入圖像的像素和；

(5b2)計算待拼接圖像像素和與輸入圖像像素和的比值b；

(5b3)如果(5b2)中計算所得的比值b小于1，則將輸入圖像每點的像素值與b相乘；如果該比值b大于1，則將待拼接圖像的每點的像素值與b的倒數相乘；

(5c)在配準的圖像上尋找一條最佳縫合線:

(5c1)將輸入圖像和待拼接圖像均轉化為灰度圖，將輸入圖像與待拼接圖像在重疊區域的對應像素進行依次相減，得到兩幅圖像重疊區域的差值圖像，計算差值圖像中每個像素的強度值E(x,y)：E(x,y)＝|E_gray(x,y)|+E_geometry(x,y)，其中，E_gray表示重疊區域像素點的灰度值之差，E_geometry表示重疊區域像素點的結構值之差：

E_geometry＝(▽x₁-▽x₂)×(▽y₁-▽y₂)

其中，▽x₁-▽x₂為輸入圖像與待拼接圖像在重疊區域的對應像素在x方向的梯度差，

▽y₁-▽y₂為輸入圖像與待拼接圖像在重疊區域的對應像素在y方向的梯度差；

▽x₁為輸入圖像在重疊區域每個點在x方向的梯度，該梯度由x方向的核S_x與輸入圖像在重疊區域圖像中的每個像素點做卷積和的運算得到；

▽x₂為待拼接圖像在重疊區域每個點在x方向的梯度，該梯度由x方向的核S_x與待拼接圖像在重疊區域圖像中的每個像素點做卷積和的運算得到；

▽y₁為輸入圖像在重疊區域每個點在y方向的梯度，該梯度由y方向的核S_y與輸入圖像在重疊區域圖像中的每個像素點做卷積和的運算得到；

▽y₂為待拼接圖像在重疊區域每個點在y方向的梯度，該梯度由y方向的核S_y與待拼接圖像在重疊區域圖像中的每個像素點做卷積和的運算得到；

所述S_x，S_y均為改進的Sobel算子模板，分別為：

(5c2)運用動態規劃理論，將差值圖像第一行的每一像素點作為一條縫合線的起點，向下擴展，尋找下一行相鄰的三個點中強度值最小的點，使之作為縫合線的擴展方向，依次類推到最后一行，在生成的所有縫合線中找出E(x,y)之和最小的一條縫合線作為最佳縫合線；

(5d)對包含最佳縫合線的矩形進行加權平均融合，得到兩幅圖像的拼接全景圖像I:

(6)陣列圖像拼接：

(6a)以拼接全景圖像I和一張待拼接圖像作為輸入的兩幅圖像，繼續重復步驟(2)～(5)，循環進行，直到待拼接圖像為第m幅圖像為止，m＜＝i，最終得到m幅圖像拼接成的橫向拼接全景圖；

(6b)重復(6a)k次，k＜＝i且k×m≤i，得到k幅橫向拼接圖，每幅橫向拼接圖由m幅圖像拼接而成；

(6c)將k幅橫向圖像的前兩幅作為輸入圖像，逆時針旋轉90°，重復步驟(2)～(5)，得到兩幅圖像的縱向拼接圖，對于剩余k-2幅橫向圖像，以其前一次拼接好的圖像和逆時針旋轉90°后的待拼接圖像作為輸入的兩幅圖像，再重復步驟(2)～(5)，循環進行，直到待拼接圖像為第k幅圖像為止，再將拼接所得的縱向圖像順時針旋轉90°，最終得到i幅圖像的橫縱向拼接全景圖。