[發(fā)明專利]一種跨相機道路空間融合及車輛目標檢測跟蹤方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010742528.1
• 申請日: 2020-07-29
• 公開（公告）號: CN112037159B
• 公開（公告）日: 2023-06-23
• 發(fā)明（設計）人: 王偉;唐心瑤;宋煥生;穆勃辰;李聰亮;梁浩翔;張文濤;雷琪;劉蒞辰;戴喆;云旭;侯景嚴;賈金明;趙鋒;余宵雨;靳靜璽;王瀅暄;崔子晨;趙春輝
• 申請（專利權）人: 中天智控科技控股股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/292;G06T7/80;G08G1/01;G08G1/017;G06V20/52;G06V20/54
• 代理公司: 廣州海藻專利代理事務所(普通合伙) 44386
• 代理人: 鄭鳳姣

本發(fā)明公開了一種跨相機道路空間融合及車輛目標檢測跟蹤方法及系統(tǒng)，該方法進行兩個交通場景的背景圖像提取及場景標定，獲得標定參數(shù)；分別劃分場景拼接區(qū)域，設置長度、寬度方向像素距離比參數(shù)組，生成空白空間融合圖像；將分場景中像素取出放入空白空間融合圖像中，獲得帶有空間信息的融合圖像；利用針對車輛數(shù)據(jù)集訓練的深度神經(jīng)網(wǎng)絡Yolov3，在連續(xù)的圖像序列中，對車輛目標進行檢測獲得二維包絡模型參數(shù)，結合空間融合信息，完成跨相機車輛目標檢測跟蹤。本發(fā)明可適應包含公共區(qū)域的連續(xù)道路交通場景，利用攝像機標定完成跨相機道路空間融合，并結合深度神經(jīng)網(wǎng)絡提取場景中大量車輛目標完成跨相機車輛目標檢測跟蹤，實現(xiàn)簡單且具有較高的通用性。

技術領域

本發(fā)明屬于智能交通技術領域，具體涉及一種跨相機道路空間融合及車輛目標檢測跟蹤方法及系統(tǒng)。

背景技術

跨相機道路空間融合目前在虛擬現(xiàn)實和計算機視覺等領域得到了廣泛應用，常見融合方法主要有專業(yè)設備采集和圖像處理。前者能夠得到較好的融合效果，但是設備昂貴，操作復雜，不利于推廣；后者通過相機采集多幅包含公共區(qū)域的圖像，運用圖像融合等技術完成空間融合，這種方法成本低，融合效果較好，具有較好的應用型，是目前空間融合的主要方法。

圖像融合技術通常需要依賴圖像灰度、頻域和特征信息。灰度信息實現(xiàn)簡單，但是計算量較大，算法效率較低；頻域信息對于場景之間僅存在平移的情況適應性較好，如果場景之間有旋轉(zhuǎn)，會大大降低算法的效率；特征信息需要通過對場景之間尋找特征點對獲得，算法效率與精度與提取的特征點對數(shù)量和準確定有很大關系。

發(fā)明內(nèi)容

針對現(xiàn)有技術中的缺陷和不足，本發(fā)明提供了一種跨相機道路空間融合及車輛目標檢測跟蹤方法及系統(tǒng)，克服現(xiàn)有攝像頭傳感器監(jiān)控范圍有限等缺陷。

為達到上述目的，本發(fā)明采取如下的技術方案：

一種跨相機道路空間融合及車輛目標檢測跟蹤方法，該方法使用相機標定技術對跨相機場景進行標定，利用跨相機場景中的公共區(qū)域完成道路空間融合，同時采用深度學習的方法對車輛目標進行檢測，完成對跨相機車輛追蹤；

具體包括如下步驟：

步驟1，輸入場景1和場景2交通場景背景圖像p₁和p₂，視頻幀圖像序列組s₁和s₂；

步驟2，構建坐標系和模型，完成相機標定：從步驟1得到的背景圖像p₁和p₂中提取消失點，建立相機模型和坐標系，世界坐標系包含x，y，z軸，圖像坐標系包含u，v軸、車輛目標在圖像坐標系下的二維包絡框模型，并結合消失點進行相機標定，得到相機標定參數(shù)H₁和H₂，H表示二維圖像與三維真實世界空間的映射關系矩陣；

步驟3，設置控制點標識道路區(qū)域范圍：在p₁和p₂中分別設定2個控制點標識道路區(qū)域范圍，控制點位于道路中線位置，設場景1控制點世界坐標為和圖像坐標為和設場景2控制點世界坐標為和圖像坐標為和其中為場景1和2對應控制點在世界坐標系中x軸上的值，Y₁¹，Y₂¹，Y₁²，Y₂²為場景1和2對應控制點在世界坐標系中y軸上的值；為場景1和2對應控制點在圖像坐標系中u軸上的值，為場景1和2對應控制點在圖像坐標系中v軸上的值；

步驟4，生成帶空間信息的道路空間融合圖像M_p：