[發明專利]一種基于水滴態感知視場融合的單車環視圖像實時拼接方法

在審

• 申請號: 202211077297.2
• 申請日: 2022-09-05
• 公開（公告）號: CN115439324A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 楊毅;梁浩;朱春暉;董志鵬;孫潤東;付夢印
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/80;G06V10/44;G06V10/75;G06V10/82;G06V20/58
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 李微微

1.一種基于水滴態感知視場融合的單車環視圖像實時動態拼接方法，其特征在于，包括以下步驟：

步驟S1、設置車輛環視視覺系統，并對車輛環視視覺系統參數進行標定；

步驟S2、令車輛環視視覺系統采用水滴態感知視場模型，其符合一般二次曲面約束，即：

式中，f(p)為與感知深度p有關的視場高度函數；P_vf為在高度為0時的感知深度，P_v為在高度為車輛高度h_v時對應的車輛水平感知深度；

建立相機的二維圖像坐標系及三維的3D投影坐標系，將相機圖像中的像素點一一投影到水滴態三維感知視場模型所在的3D投影坐標系中，則：

當高度為0時，像素點在二維圖像坐標系和3D投影坐標系中的對應關系如下：

其中，(x′,y′)表示像素點在二維圖像坐標系中坐標，(x,y,z)表示像素在3D投影坐標系中對應的坐標；α,β均為常數，α為抬升系數，β為曲率系數，m表示圖像寬度，即像素數；

當高度不為0時，像素點在二維圖像坐標系和3D投影坐標系中的對應關系如下：

其中，γ為分辨率調節系數；

根據方程(1)和(2)求解出各個像素點映射至水滴態感知視場的坐標(x,y,z)，以及相應的感知深度p；

步驟S3、基于步驟S1標定的車輛環視視覺系統參數以及步驟S2得到的像素點在二維圖像坐標系和3D投影坐標系中的對應關系，求解圖像坐標系中二維像素點到3D模型所在的D投影坐標系中對應像素的相對運動，建立車輛環視視覺系統的初始參數表；

步驟S4、同步獲取車輛環視視覺系統中各個相機的視頻數據，并行提取特征點，進行特征匹配，進而更新所述參數表；

步驟S5、基于更新后的所述參數表，將車輛各個相機圖像投影在水滴態感知模型上，進而對圖像進行拼接。

2.如權利要求1所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，所述步驟S4中，對各個相機的視頻數據進行防抖處理，然后再更新所述參數表。

3.如權利要求1或2所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，所述水滴態感知視場模型為碗狀模型，碗壁為設定類型曲線繞中心軸旋轉構成的曲面，碗底為碗壁所包圍的圓形，碗底中心為車輛投影在水平面的長方形。

4.如權利要求3所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，所述設定類型曲線為拋物線、圓弧或其他二次曲線。

5.如權利要求1或2所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，采用Superpoint架構進行特征點提取。

6.如權利要求1或2所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，采用SuperGlue架構實現特征匹配。

7.如權利要求1或2所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，所述車輛環視視覺系統包括4個相機，分別置于車頭車牌上部、左后車門骨架中部、車尾車牌上部與右后車門骨架中部。

8.如權利要求1或2所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，所述車輛環視視覺系統的載體采用阿克曼運動模型車輛。

9.如權利要求1或2所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，所述相機成像模型采用Scaramuzza提出的泰勒展開式相機成像模型。

10.如權利要求1或2所述的一種基于水滴態感知視場融合的多車環視圖像實時動態拼接方法，其特征在于，車輛環視視覺系統的重疊視場朝向載體兩側。