[發明專利]一種基于圖像拼接參數提取的全景相機及其實時性參數優化方法

在審

• 申請號: 202110673273.2
• 申請日: 2021-06-17
• 公開（公告）號: CN113344788A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 孫磊;史可;董恩增;佟吉剛;金帥羽
• 申請（專利權）人: 天津理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;H04N5/232
• 代理公司: 天津市君硯知識產權代理有限公司 12239
• 代理人: 程昊

1.一種基于圖像拼接參數提取的全景相機，其特征在于它是由固定在臺座上的相機鏡頭構成；其中，所述相機鏡頭外部安裝有保護外殼；所述臺座上安裝有立柱，用于將臺座連同相機鏡頭及保護外殼支撐在底盤上；所述臺座上有用于穿插數據線的開口；所述相機鏡頭的輸出端連接有顯示終端。

2.根據權利要求1所述一種基于圖像拼接參數提取的全景相機，其特征在于所述臺座上的開口位于臺座的中心；所述立柱有4個，分別安裝在臺座的四邊；所述相機鏡頭連接的顯示終端是計算機；所述數據線用于連接相機鏡頭與計算機，完成視頻數據的傳輸。

3.根據權利要求2所述一種基于圖像拼接參數提取的全景相機，其特征在于所述相機鏡頭是魚眼鏡頭，其數量為4個。

4.根據權利要求3所述一種基于圖像拼接參數提取的全景相機，其特征在于所述相機鏡頭外部的外殼是三角形外殼，其數量為2個，每一個外殼里有2個相機鏡頭。

5.根據權利要求3所述一種基于圖像拼接參數提取的全景相機，其特征在于所述魚眼鏡頭的圖像分辨率是640×480；所述四個魚眼鏡頭按90°差用強力膠固定安裝在臺座上。

6.一種基于圖像拼接參數提取的全景相機的實時性參數優化方法，其特征在于它包括以下步驟：

(1)啟動相機鏡頭，對所在環境進行拍攝，得到第一組圖像，即魚眼圖像；

(2)對步驟(1)得到的第一組魚眼圖像進行去畸變處理，利用如公式(2-1)所示的經度校正方法去除魚眼圖像的畸變：

式中，x₀、y₀是魚眼圖像的圓心坐標，R是其半徑，(x,y)是魚眼圖像上的任意一點的坐標，(u,v)是校正后正方形平面的對應點的坐標；

(3)利用OpenCV中的加速健壯特征算法尋找步驟(2)得到的校正圖像的特征點，并使用尋找特征點函數SurfFeaturesFinder()對校正圖像的圖像特征點和計算特征點描述子進行計算；

(4)使用OpenCV中的最近鄰和次近鄰方法對第一組校正圖像中所有相鄰兩張圖像的尋找到的特征點進行匹配，并找出兩幅校正圖像的匹配點對保存在一個動態數組中；

(5)設定置信度門限值，利用OpenCV中的篩選最優配對點函數leaveBiggestComponent()剔除步驟(2)得到的校正圖像中不能參與拼接的圖像，即：將圖像的置信度高于置信度門限值的校正圖像保存到同一集合中，且刪除置信度低于預設門限值的校正圖像；此時，若所拍攝的圖像能夠拼成一張全景圖，則該集合中的校正圖像將構成能夠正確匹配的圖像序列；若被刪除的圖像過多將會無法正確拼接全景圖，進而會導致程序中斷；

(6)利用OpenCV中的HomographyBasedEstimator類的estimate函數，將步驟(3)得到的校正圖像的特征點、步驟(4)得到的匹配點對以及相機信息作為estimate函數的三個輸入參數，對步驟(5)得到的圖像序列中的校正圖像的相機內外參數的值進行估計，計算出校正圖像的單應性矩陣、焦距、圖像長與寬、寬高比的值，并作為新的相機信息進行賦值；

(7)利用光束平差BundleAdjusterRay()類的adjuster函數進一步對步驟(6)得到的相機內外參數進行精確估計；其中，adjuster函數的輸入值與estimate函數的輸入參數類型相同，即特征點、匹配點對及相機信息，其輸出為一個光束法平差值，并將此值疊加在每張校正圖像的相機內外參數上，即可使每個圖像的單應性矩陣和焦距長度相等；

(8)在拼接之前，調用波形校正函數WaveCorrect()，將步驟(6)中的單應性矩陣作為該函數的輸入，則將計算并輸出一個矯正后的單應性矩陣，而其他參數保持不變；此時，所有的校正圖像將會對準在同一水平線，能夠有效避免校正圖像在水平空間位置上有起伏的現象，從而影響拼接效果；單應性矩陣的作用是使一幅圖像與之相乘，從而可以旋轉一定的角度，貼合到另一幅圖像上，實現圖像的拼接；

(9)由于不同位置相機鏡頭拍攝出的魚眼圖像在空間位置上相差遠，因此，需要利用坐標系之間的數學映射方法，改變校正圖像的投影面，即：需要對圖像進行圓柱面變換，將每幅校正圖像投影到同一個圓柱面上；其中，校正圖像相對柱面圖的坐標對應關系如公式(9-1)、公式(9-2)及公式(9-3)所示：

其中，k是兩圖像之間圖形的相似比，width是校正圖像寬度，height是校正圖像高度，w和h分別是原圖像的列數和行數，R是柱體圓面的半徑，x和y表示投影后的圖像坐標；

(10)將步驟(9)得到的投影后的校正圖像乘以由步驟(8)計算出的矯正后的單應性矩陣，使校正圖像進行旋轉，完成初步的圖像拼接；

(11)由于在圖像拼接過程中會出現相鄰圖像的重合區域，且重合區域內會存在拼接不齊或同一個物體有左右重影的問題；但是，重合區域內的像素距左邊界距離與該像素在重合區域所占權重成反比，因此，對步驟(10)得到的初步拼接后的圖像的拼接重疊區域進行優化：

(11-1)利用公式(11-1)計算重合區域內的像素在重合區域所占權重：

式中，processWidth是重疊區域的寬度，j代表重疊區域內的某一列，α正是該列的權重，不同列對應不同的權重，start代表重疊區域的左邊界；

(11-2)利用公式(11-2)將重疊區域中重合的兩個點分別乘以各自的權重再相加，即可得到一個新的點：

d[j*3+n]＝p[j*3+n]*α+t[j*3+n]*(1-α) (11-2)

式中，d為計算得到的新的點的值，p、t分別代表兩幅參與拼接的校正圖像，其中p是權重較大的一幅圖像，j代表重疊區域內的某一列，α正是該列的權重，n代表彩色圖像的三個顏色通道，分別是B(藍)、G(綠)、R(紅)三個顏色通道，每一個通道的數值范圍都是0～255，這里n＝0，1，2；

(11-3)將利用公式(11-2)計算出的像素值d代替原來的像素值對重疊區域的像素進行重新賦值；

(11-4)不斷重復步驟(11-1)-(11-3)，直到重疊區域呈現出漸變的平滑效果，即完成第一組魚眼圖像的拼接；

(12)保存步驟(8)計算出的單應性矩陣，并再次啟動相機鏡頭對環境進行拍攝，按照步驟(2)-(11)對新拍攝的魚眼圖像繼續進行處理；由于相機鏡頭的空間相對位置固定，因此，在后續對新的到的圖像進行拼接時，對新的魚眼圖像進行去畸變處理后，省略步驟(3)-步驟(8)，利用第一組圖像拼接過程中得到的單應性矩陣，直接進行步驟(9)-步驟(11)的圖像拼接工作。