[發明專利]一種全景相機的拼接方法及系統

在審

• 申請號: 201711465865.5
• 申請日: 2017-12-28
• 公開（公告）號: CN107993197A
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 呂聰奕
• 申請（專利權）人: 哈爾濱工業大學深圳研究生院
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 成都頂峰專利事務所(普通合伙)51224
• 代理人: 楊軍

技術領域

本發明屬于全景圖像拼接技術領域，具體的說是一種全景相機的拼接方法及系統。

背景技術

全景相機已經被廣泛應用在機器人、虛擬現實等領域，主要的實現方案采用專用圖像傳感器獲得圖像并將圖像數據傳輸到計算機或手機等智能設備，智能設備的處理器運行圖像拼接算法來實現全景圖像的拼接，這樣的架構依賴于智能設備的處理能力，圖像拼接的實時性不足，影響全景畫面的流暢性；其次，現有的全景相機大部分采用兩個廣角相機的方案實現360度圖像的獲取，圖像的畸變較大，影響成像效果。

發明內容

本發明所要解決的技術問題是提供一種能夠實時矯正和拼接并且能夠實現360度圖像獲取成像效果好的全景相機的拼接方法及系統。

針對現有技術存在的不足，本發明的目的在于提供一種全景相機的拼接方法及系統。

為實現上述目的，本發明提供了如下技術方案：

一種全景相機的拼接方法，所述方法包括以下步驟，

步驟S01:獲取若干個圖像傳感器的圖像并緩存在全景相機的內存儲器內；

步驟S02:從全景相機的內存儲器內選取左右相鄰兩幅圖像進行拼接，采用窗口匹配的算法確定兩幅圖中匹配的窗口區域；

步驟S03:通過匹配像素點坐標計算出圖像拼接所需要的旋轉、平移矩陣，并旋轉、平移兩幅圖像；

步驟S04:將左右圖像進行像素融合，實現圖像拼接。

進一步的，所述圖像拼接通過采用在FPGA處理器上設計的圖像拼接模塊實現圖像拼接算法，實現全景圖像拼接。

進一步的，窗口匹配的算法是采用SAD的匹配方式實現左右相鄰兩幅圖像間像素的匹配，經過SAD算法的初步篩選，找到左右圖像中相互匹配的窗口，窗口匹配的算法表示為:

其中x₁和x₂分別代表左右兩幅圖的對應窗口內像素值之合。

進一步的，所述圖像拼接模塊的拼接速度與圖像傳感器的獲取速度同步。

進一步的，所述步驟S02中左右相鄰兩幅圖像之間的關系用矩陣H表示為：

其中,X₁為圖像中的特征像素點坐標,X₂為該特征像素點在另一圖像平面中的匹配像素點；h0、h1、h2、h3、h4、h5、h6、h7、h8是矩陣H的九個元素。

所述步驟S03中當兩幅待拼接圖片間的旋轉角度小于30°，且相機平面與景物保持向垂直的條件下，采用仿射變換模型來表示兩幅圖片之間的坐標轉換關系，仿射變換模型表示為：

其中，x、y表示轉換前的圖像坐標，x′、y′表示轉換后的圖像坐標；a，b代表兩個相機平面之間變換的參數，選取6組對應的匹配特征點并將其位置信息帶入可求得式中6個參數的估計值。

進一步的，所述步驟S04中采用加權平均值的方法實現像素融合，通過選擇不同的權重值w₁和w₂可以調整融合后圖像中原圖像像素所占的比重值，加權平均值的算法為：

f(x，y)＝w₁f₁(x，y)+w₂f₂(x，y)；(x，y)∈(f₁∩f₂)

其中，x、y代表圖像傳感器上的坐標位置，f₁(x，y)代表目標像素點左側像素點的像素值，f₂(x，y)代表目標像素點右側像素點的像素值，f(x，y)代表目標像素點的像素值。

進一步的，所述權重值可以通過像素分布情況進行分配，從圖片中心到邊緣逐漸降低像素的權重值；其中調整融合后的圖像和原圖像的分辨率相同。

本發明的實例中，提供了一種全景相機的拼接系統，包括：

圖像獲取模塊，用于獲取傳感器圖像并緩存在全景相機的內存儲器內；

窗口匹配模塊，用于確定左右相鄰兩幅圖中匹配的窗口區域；

圖像匹配模塊，用于計算出圖像拼接所需要的旋轉、平移矩陣，并旋轉、平移兩幅圖像；

圖像融合模塊，用于圖像像素融合，實現圖像拼接。

與現有技術相比本發明的有益效果是：