[發明專利]一種跨相機道路空間融合及車輛目標檢測跟蹤方法及系統

有效

• 申請號: 202010742528.1
• 申請日: 2020-07-29
• 公開（公告）號: CN112037159B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 王偉;唐心瑤;宋煥生;穆勃辰;李聰亮;梁浩翔;張文濤;雷琪;劉蒞辰;戴喆;云旭;侯景嚴;賈金明;趙鋒;余宵雨;靳靜璽;王瀅暄;崔子晨;趙春輝
• 申請（專利權）人: 中天智控科技控股股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/292;G06T7/80;G08G1/01;G08G1/017;G06V20/52;G06V20/54
• 代理公司: 廣州海藻專利代理事務所(普通合伙) 44386
• 代理人: 鄭鳳姣

1.一種跨相機道路空間融合及車輛目標檢測跟蹤方法，其特征在于，該方法使用相機標定技術對跨相機場景進行標定，利用跨相機場景中的公共區域完成道路空間融合，同時采用深度學習的方法對車輛目標進行檢測，完成對跨相機車輛追蹤；

具體包括如下步驟：

步驟1，輸入場景1和場景2交通場景背景圖像p₁和p₂，視頻幀圖像序列組s₁和s₂；

步驟2，構建坐標系和模型，完成相機標定：從步驟1得到的背景圖像p₁和p₂中提取消失點，建立相機模型和坐標系，世界坐標系包含x,y,z軸，圖像坐標系包含u,v軸、車輛目標在圖像坐標系下的二維包絡框模型，并結合消失點進行相機標定，得到相機標定參數H₁和H₂，H表示二維圖像與三維真實世界空間的映射關系矩陣；

步驟3，設置控制點標識道路區域范圍：在p₁和p₂中分別設定2個控制點標識道路區域范圍，控制點位于道路中線位置，設場景1控制點世界坐標為和圖像坐標為和設場景2控制點世界坐標為和圖像坐標為和其中為場景1和2對應控制點在世界坐標系中x軸上的值，為場景1和2對應控制點在世界坐標系中y軸上的值；為場景1和2對應控制點在圖像坐標系中u軸上的值，為場景1和2對應控制點在圖像坐標系中v軸上的值；

步驟4，生成帶空間信息的道路空間融合圖像M_p：

步驟4.1，設置控制參數組，劃定M_p中對應場景1和場景2部分像素范圍；已知道路寬度為w(mm)，寬度方向像素距離比為r_w(像素/mm)，長度方向距離像素比為r_l(像素/mm)，生成的空間融合圖像M_p的像素寬度為wr_w，像素長度為場景1部分對應像素長度為場景2部分對應像素長度為

步驟4.2，生成空間融合圖像M_p：分別遍歷空間融合圖像M_p中場景1部分像素和場景2部分像素對應場景1世界坐標中取對應像素值至空間融合圖場景1部分，對應場景2世界坐標中取對應像素值至空間融合圖場景2部分，如果分場景圖中有像素則取出，沒有則跳過，直到像素全部取完，即完成道路空間融合圖像M_p的生成；其中取像素的方括號內為先u軸后v軸坐標，世界坐標的方括號內為先x軸后y軸坐標；

步驟4.3，解析空間信息：

(1)由融合圖M_p上任一像素坐標(u,v)解析其在統一世界坐標系、場景1世界坐標系、場景2世界坐標系的世界坐標：

統一世界坐標：(v/r_w,u/r_l+Y₁¹,0)

場景1世界坐標：

場景2世界坐標：

(2)由地面任意點世界坐標(X,Y,0)解析其在融合圖M_p中圖像坐標：

世界坐標在場景1中：

世界坐標在場景2中：

步驟5，跨相機目標檢測：

使用道路車輛數據集訓練的目標檢測網絡Yolov3，對步驟1的視頻幀圖像序列組s₁和s₂分別進行目標檢測，獲得目標檢測結果在圖像坐標下的二維包絡框模型：

上式中，為第t個場景的第i幀圖像，S為場景數，F為每個場景下的視頻幀數，x_tp,y_tp分別為二維包圍框左上角點在圖像坐標u,v軸的值，w為二維包圍框在圖像中的像素寬度，h為二維包圍框在圖像中的像素高度，由二維包絡框模型可以計算出車輛下底邊中點在分場景中的圖像坐標(x_tp+w/2,y_tp+h)，先利用步驟2中的H矩陣將其轉換為分場景中的世界坐標，再由步驟4轉換至M_p中圖像坐標，完成跨相機目標檢測；

步驟6，跨相機目標跟蹤：

在目標檢測的基礎上，對每個目標提取3個特征點進行跟蹤，獲得其圖像坐標其中，為第i個特征點的圖像坐標，x_f,y_f分別為特征點在圖像坐標u,v軸的值；在跨相機的重疊區域中，通過特征點關聯匹配確定同一車輛，完成跨相機目標跟蹤。

2.一種跨相機道路空間融合及車輛目標檢測跟蹤系統，其特征在于，該系統包括：

數據輸入模塊，用于輸入需要拼接的多個交通場景背景圖像和與場景對應的包含車輛的視頻幀圖像序列組；

相機標定模塊，用于建立相機模型和坐標系、車輛目標在圖像坐標系下的二維包絡框模型，進行相機標定，獲取相機標定參數和最終的場景二維—三維變換矩陣；

控制點標識道路區域設置模塊，用于在背景圖像p₁和p₂中分別設定2個控制點標識道路區域范圍，控制點位于道路中線位置，設場景1控制點世界坐標和圖像坐標；設場景2控制點世界坐標和圖像坐標；

道路空間融合模塊：用于在相機標定的基礎上，設置場景控制點參數組，生成帶有道路空間信息的融合圖像；具體包括：

設置控制參數組，劃定M_p中對應場景1和場景2部分像素范圍；已知道路寬度為w(mm)，寬度方向像素距離比為r_w(像素/mm)，長度方向距離像素比為r_l(像素/mm)，生成的空間融合圖像M_p的像素寬度為wr_w，像素長度為場景1部分對應像素長度為場景2部分對應像素長度為

生成空間融合圖像M_p：分別遍歷空間融合圖像M_p中場景1部分像素和場景2部分像素對應場景1世界坐標中取對應像素值至空間融合圖場景1部分，對應場景2世界坐標中取對應像素值至空間融合圖場景2部分，如果分場景圖中有像素則取出，沒有則跳過，直到像素全部取完，即完成道路空間融合圖像M_p的生成；其中取像素的方括號內為先u軸后v軸坐標，世界坐標的方括號內為先x軸后y軸坐標；

解析空間信息：

由融合圖M_p上任一像素坐標(u,v)解析其在統一世界坐標系、場景1世界坐標系、場景2世界坐標系的世界坐標：

統一世界坐標：(v/r_w,u/r_l+Y₁¹,0)

場景1世界坐標：

場景2世界坐標：

由地面任意點世界坐標(X,Y,0)解析其在融合圖M_p中圖像坐標：

世界坐標在場景1中：

世界坐標在場景2中：

跨相機車輛目標檢測跟蹤模塊，用于使用深度學習目標檢測Yolov3對視頻幀圖像中的車輛目標進行檢測，檢測結果包括車輛目標在二維包絡框模型下的二維坐標信息以及車輛目標的車輛類別；在車輛目標檢測的基礎上，對目標提取特征點完成跟蹤；將單場景目標檢測跟蹤結果映射至道路空間融合圖像，完成跨相機車輛目標檢測跟蹤；

結果輸出模塊，將生成帶有空間信息的融合圖像、車輛目標檢測跟蹤結果輸出，得到跨相機車輛目標檢測跟蹤結果。