[發(fā)明專利]多相機目標匹配方法、系統(tǒng)、電子設備及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202111151369.9
• 申請日: 2021-09-29
• 公開（公告）號: CN113869422B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設計）人: 朱垠吉;鄧立凱;梁義輝
• 申請（專利權(quán)）人: 北京易航遠智科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/75;G06V10/74;G06V10/80
• 代理公司: 北京細軟智谷知識產(chǎn)權(quán)代理有限責任公司 11471
• 代理人: 涂鳳琴

本發(fā)明涉及一種多相機目標匹配方法、系統(tǒng)、電子設備及可讀存儲介質(zhì)，該方法包括：確定待匹配的第一目標和第二目標，所述第一目標和第二目標為當前時刻出現(xiàn)在相鄰相機重疊視野內(nèi)的目標；分別計算所述第一目標和第二目標投影到對方所在相機圖像后的重合度，并將所述重合度作為計算所述第一目標和第二目標相似性評分的參考項。本發(fā)明提供的技術(shù)方案，通過分別將待匹配的兩個目標投影到對方的相機圖像上計算重合度，使得在一個相機視角下因為重合度較高被誤匹配的目標，在另一個相機視角下得到糾正，提高了系統(tǒng)目標匹配的準確度，減少了誤匹配的發(fā)生概率。

技術(shù)領(lǐng)域

本發(fā)明涉及智能駕駛技術(shù)領(lǐng)域，具體涉及一種多相機目標匹配方法、系統(tǒng)、電子設備及可讀存儲介質(zhì)。

背景技術(shù)

為了實現(xiàn)自動駕駛車輛的全方位視覺感知，需要在自動駕駛車輛不同角度安裝多個攝像頭。多相機融合匹配跟蹤能解決大部分單相機存在的諸如目標遮擋、暫時消失、快速運動、相似外觀等問題。而多相機在融合過程中會有部分重疊區(qū)域，如若將多個相機的單獨跟蹤結(jié)果疊加，會出現(xiàn)重疊區(qū)域中相同物體多次出現(xiàn)、ID重復且混亂等問題，對在車輛控制、檢測目標可視化等方面造成較大影響，進而影響輔助駕駛系統(tǒng)的使用體驗。因此，如何提高車輛環(huán)境下的跨相機目標匹配和跟蹤精度，是一個亟需解決的問題。

相關(guān)技術(shù)中提出了一種將長焦相機圖像中的目標框，映射到短焦相機中對應目標框位置，計算兩目標框之間的IOU(intersection-over-union，交并比)判斷兩目標間是否相匹配，再將兩個匹配位置的目標融合。該方法僅使用了圖像2D框四個目標點的重疊占比進行匹配，如有同一相機中存在兩個重疊車輛，匹配的效果會非常差，魯棒性不高，因此在匹配精度上無法滿足要求。

相關(guān)技術(shù)中，還提出了通過計算三維位置坐標差以及外觀相似性的方式，確定外觀相似性較高且三維位置相近的兩個目標為同一個目標。該方法使用的外觀相似性在多角度的相機觀察下并不實用，如車頭和車身在外觀上看到的會是兩個不同的外觀。再者，使用三維位置坐標之差來判斷車輛是否相近也不可取。物體在近距離情況下一個圖像像素差和遠距離的一個像素差對應的距離差別極大。

相關(guān)技術(shù)中，還提出了使用多相機在固定視角下的信息跟蹤，利用目標位置、大小和顏色相加作為權(quán)重相互匹配，得到對應的誤差協(xié)方差矩陣。車輛的大小比較接近，而且計算出來的目標框精度并不是非常高，誤差較大，不適于做車輛下的目標匹配。顏色可以作為一種匹配的方式，但需要多傳遞一個圖像信息來做匹配，增加了時間復雜度。再者車輛間相近顏色的較多，加上兩個車輛重疊區(qū)域比較大的時候報錯明顯，不太適合作為匹配方式。

多相機融合的主要難點在于不同環(huán)境下目標相似度很小，這樣相同目標在不同相機視角下也會有很顯著的區(qū)別。目前，在車輛環(huán)境下的多相機融合方法多使用距離關(guān)系及目標的外觀信息(包括顏色、紋理、形狀等)。使用距離的目標匹配方案極度依賴檢測框的精確程度，如檢測框接地點上下擺動，會導致得到的目標檢測結(jié)果有較大差別，很容易造成匹配失敗。不同方向的目標在顏色、外觀等圖像特征上也會有比較大的差異，加上光照、遮擋等環(huán)境影響，極大的增加了該種判斷方式的不確定性。此外，特征相近的物體很容易發(fā)生匹配錯誤。這些都導致了現(xiàn)有算法在車輛環(huán)境下的多相機匹配魯棒性并不好，除卻理想場景很容易匹配錯誤。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種多相機目標匹配方法、系統(tǒng)、電子設備及可讀存儲介質(zhì)，以解決現(xiàn)有技術(shù)中多目標聚集在一起時，容易誤匹配的問題。

根據(jù)本發(fā)明實施例的第一方面，提供一種多相機目標匹配方法，包括：

確定待匹配的第一目標和第二目標，所述第一目標和第二目標為當前時刻出現(xiàn)在相鄰相機重疊視野內(nèi)的目標；

分別計算所述第一目標和第二目標投影到對方所在相機圖像后的重合度，并將所述重合度作為計算所述第一目標和第二目標相似性評分的參考項。

優(yōu)選地，所述確定待匹配的第一目標和第二目標，包括：