[發明專利]基于多攝像機交叉攝影的視頻全景拼接融合方法及系統

在審

• 申請號: 202010375299.4
• 申請日: 2020-05-06
• 公開（公告）號: CN111583116A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 李鵬;劉亮;謝宇航
• 申請（專利權）人: 上海瀚正信息科技股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/80
• 代理公司: 北京華識知識產權代理有限公司 11530
• 代理人: 秦瑞

1.基于多攝像機交叉攝影的視頻全景拼接融合方法，其特征在于，其包括：

S1：從視頻流中獲取多個攝像機同一時刻的圖像；

S2：對于S1中獲取的一張圖像，根據匹配規則從S1獲取的圖像中選出與其匹配的另一張圖像，對兩張匹配的圖像分別先進行畸變校正，然后分別進行正射校正，得到兩張校正圖像，所述匹配規則包括：匹配的兩張圖像分別對應兩個攝像機，所述兩個攝像機的拍攝區域存在互相重疊的區域，所述互相重疊的區域的面積與所述兩個攝像機的拍攝區域的面積之和的比例大于預設的重疊閾值；

S3：對兩張校正圖像分別提取各自的特征點，然后根據兩張校正圖像的特征點在兩張校正圖像之間進行特征點匹配，得到初步匹配對，對初步匹配對進行篩選，得到特征點匹配對；

S4：根據特征點匹配對計算兩張校正圖像的透視變換矩陣，根據透視變換矩陣將兩張校正圖像調整到統一的圖像坐標系中，對于一個特征匹配對中的兩個像素點，其在所述坐標系中的坐標相同，從而得到兩張透視變換圖像；

S5：分別計算兩張透視變換圖像的初始蒙版，將得到的兩張初始蒙版的像素點的總數記為Nt，將獲得的兩張初始蒙版置于S4所述的坐標系中，按設定的刪除規則交替對兩張初始蒙版的邊緣像素點進行刪除，縮小兩張初始蒙版的面積，所述刪除規則包括：對于當前正在處理的初始蒙版的一個邊緣像素點，判斷在另一個初始蒙版中是否有與其坐標相同的像素點，若有，則在當前正在處理的初始蒙版中將該邊緣像素點刪除，若無，則保留該邊緣像素點；

直到兩張初始蒙版中剩余的坐標相同的像素點對的數量與Nt的比值小于預設的閾值，才停止交替刪除兩張初始蒙版中的邊緣像素點，將停止交替刪除邊緣像素點后得到的面積縮小的兩張初始蒙版作為兩張最終蒙版；

S6：根據兩張最終蒙版以及特征點匹配對，對兩張透視變換圖像進行拼接。

2.根據權利要求1所述的基于多攝像機交叉攝影的視頻全景拼接融合方法，其特征在于，所述對初步匹配對進行篩選，得到特征點匹配對，包括：根據初步匹配對的連線方向以及長度，對不符合預設條件的初步匹配對進行刪除，所述預設條件包括特征點匹配對的連線的方向與水平向右方向所形成的夾角小于預設的角度閾值，所述初步匹配對的連線的長度小于預設的長度閾值；將剩余的初步匹配對作為特征點匹配對。

3.根據權利要求1所述的基于多攝像機交叉攝影的視頻全景拼接融合方法，其特征在于，所述對兩張校正圖像分別提取各自的特征點，包括：

將校正圖像轉換為灰度圖像；

對灰度圖像進行濾波處理得到濾波圖像；

對濾波圖像，使用非極大值抑制篩選出其中的特征點，并將選出的所有特征點存入粗選集合中；

對于粗選集合中的特征點，判斷所述特征點的海瑟矩陣判別式的值是否比與其相鄰的八個像素點的海瑟矩陣判別式的值都大，若是，則在粗選集合中保留該特征點，否則，將其從粗選集合中刪除；

將粗選集合中剩余的特征點作為最終提取到的特征點。

4.根據權利要求3所述的基于多攝像機交叉攝影的視頻全景拼接融合方法，其特征在于，對校正圖像進行光照調整得到光照調整圖像，使用加權平均法將所述光照調整圖像轉換為灰度圖像。

5.根據權利要求4所述的基于多攝像機交叉攝影的視頻全景拼接融合方法，其特征在于，所述對校正圖像進行光照調整得到光照調整圖像，包括：

對于校正圖像中的第v個像素點，v∈V，V表示校正圖像的像素點的總數，使用下述方式進行光照調整：

獲取第v個像素點在Lab顏色空間中的三個通道分量，分別記為L_V，a_v，b_v，對L_v進行如下調節：

式中，aL表示校正圖像在Lab顏色空間中調節后的L分量的值，η表示校正圖像在Lab顏色空間中L分量的均值，θ表示預設的常數參數，ψ表示調節系數；

將aL_v，a_v，b_v從Lab顏色空間轉化到RGB顏色空間，從而得到光照調整圖像。