[發明專利]車輛與車牌的關聯方法、裝置和電子系統

在審

• 申請號: 202010410835.X
• 申請日: 2020-05-14
• 公開（公告）號: CN111753826A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 鄒城;李伯勛;張弛
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何少巖

本發明提供了一種車輛與車牌的關聯方法、裝置和電子系統。其中，該方法包括：對待檢測圖像進行車輛特征檢測和車牌特征檢測，得到待檢測圖像的車輛檢測框集合和車牌關聯框組集合；車輛檢測框集合包括至少一個車輛檢測框；車牌關聯框組集合包括至少一組車牌檢測框和該車牌檢測框對應的候選車框；計算車牌關聯框組集合中的候選車框與車輛檢測框集合中的車輛檢測框的匹配度；根據計算得到的候選車框與車輛檢測框的匹配度，確定車牌關聯框組集合中的車牌檢測框關聯的車輛檢測框。該方式中計算候選車框與車輛檢測框的匹配度，不存在檢測框不包括車牌以及同一個車牌存在于多個檢測框中的問題，可以提高車輛和車牌關聯的穩定性和準確率。

技術領域

本發明涉及目標檢測技術領域，尤其是涉及一種車輛與車牌的關聯方法、裝置和電子系統。

背景技術

目標檢測是基于計算機視覺的人工智能應用的基礎組件。近年來，隨著深度學習和計算機硬件技術的飛速發展，目標檢測技術在準確度和運算速度兩個維度都取得了突破性進展，車輛檢測和車牌檢測技術也因此得到了廣泛使用。在進行車輛檢測和車牌檢測時，不僅要準確檢測出車輛和車牌，還要確定車輛和車牌的對應關系，從而為跨攝像頭跟蹤打下堅實的基礎。例如安防場景，在連續的視頻鏡頭中，可能只有某幾幀能夠看清楚車牌，為了持續跟蹤一輛車，通常的思路是：在能檢測并識別出車牌的一幀圖像上，檢測出包含該車牌的車輛，然后利用該車輛的外觀特征，在其它鏡頭中去檢索與之相似的車輛，完成跨攝像頭追蹤。因此，要完成這一連串的功能，車輛和車牌關聯技術必不可少。

現有的車輛和車牌關聯技術中，首先進行車輛和車牌各自的檢測，然后使用后處理邏輯(例如IoU(Intersection-over-Union，交并比))進行關聯，存在以下問題：1、車輛檢測框可能會偏小，偏小的檢測框有可能不會包括車牌，無法關聯車牌與車輛；2、車輛與車輛相互重疊，會造成不同的車輛檢測框的相互重疊，這樣一個車牌可能會存在于多個車輛檢測框中，一個車輛檢測框也可能包括多個車牌；這種情況下車牌與車輛檢測框的對應關系無法確定，導致車輛和車牌關聯的穩定性較差，準確率不高。

發明內容

有鑒于此，本發明的目的在于提供一種車輛與車牌的關聯方法、裝置和電子系統，以提高車輛和車牌關聯的穩定性和準確率。

第一方面，本發明實施例提供了一種車輛與車牌的關聯方法，方法應用于電子設備，包括：對待檢測圖像進行車輛特征檢測和車牌特征檢測，得到待檢測圖像的車輛檢測框集合和車牌關聯框組集合；該車輛檢測框集合包括至少一個車輛檢測框；該車牌關聯框組集合包括至少一組車牌檢測框和該車牌檢測框對應的候選車框；計算車牌關聯框組集合中的候選車框與車輛檢測框集合中的車輛檢測框的匹配度；根據計算得到的候選車框與車輛檢測框的匹配度，確定車牌關聯框組集合中的車牌檢測框關聯的車輛檢測框。

在本發明較佳的實施例中，上述電子設備預存有訓練完成的神經網絡模型；神經網絡模型的第一分支網絡為車輛檢測模型，第二分支網絡為車牌檢測模型；對待檢測圖像進行車輛特征檢測和車牌特征檢測，得到待檢測圖像的車輛檢測框集合和車牌關聯框組集合的步驟，包括：將待檢測圖像輸入神經網絡模型；通過神經網絡模型的第一分支網絡對待檢測圖像進行車輛檢測，得到待檢測圖像的車輛檢測框集合；通過神經網絡模型的第二分支網絡對待檢測圖像進行車牌檢測，得到待檢測圖像的車牌關聯框組集合。

在本發明較佳的實施例中，上述通過神經網絡模型的第一分支網絡對待檢測圖像進行車輛檢測，得到待檢測圖像的車輛檢測框集合的步驟，包括：通過神經網絡模型的第一分支網絡確定待檢測圖像對應的特征圖中的車輛錨定框；基于車輛錨定框確定待檢測圖像中的車輛檢測框集合。

在本發明較佳的實施例中，上述通過神經網絡模型的第二分支網絡對待檢測圖像進行車牌檢測，得到待檢測圖像的車牌關聯框組集合的步驟，包括：通過神經網絡模型的第二分支網絡確定待檢測圖像對應的特征圖中的車牌錨定框；基于車牌錨定框確定待檢測圖像中的車牌檢測框和車牌檢測框對應的候選車框；基于車牌檢測框和車牌檢測框對應的候選車框確定車牌關聯框組集合。