[發明專利]車輛圖像的處理方法、裝置、電子設備和計算機可讀介質

有效

• 申請號: 202010003074.6
• 申請日: 2020-01-02
• 公開（公告）號: CN111242119B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 管成;郭曉威;余宗橋;孫星;杜俊瓏;彭湃
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/774;G06V10/82;G06V20/62;G06N3/04
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 葉虹

1.一種車輛圖像的處理方法，其特征在于，包括：

獲取待處理的車輛圖像；

提取所述待處理的車輛圖像中的車身圖像特征以及車牌圖像特征；

將所述車身圖像特征以及所述車牌圖像特征輸入至預訓練的機器學習模型中，以根據所述車身圖像特征和車牌圖像特征進行車身和車牌的關聯匹配，所述預訓練的機器學習模型通過包含有車身圖像特征、車牌圖像特征以及車身和車牌的關聯結果的樣本數據訓練得到；

獲取所述預訓練的機器學習模型輸出的所述車輛圖像中包含的車身與車牌的關聯結果，以實現對所述車輛圖像進行車身和車牌匹配；

所述預訓練的機器學習模型基于以下方法確定所述車輛圖像中包含的車身與車牌的關聯結果：

通過預訓練的機器學習模型中相同的池化層對所述車身圖像特征以及所述車牌圖像特征進行得到池化后的車身圖像特征以及池化后的車牌圖像特征，基于兩個全連接層對池化后的車身圖像特征以及池化后的車牌圖像特征進行處理，分別得到第一特征向量以及第二特征向量，所述車身圖像特征和車牌圖像特征的維度不同；所述第一特征向量和第二特征向量為維度相同的向量；

根據所述第一特征向量以及所述第二特征向量生成第三特征向量；

通過預訓練的機器學習模型中的兩個全連接層對所述第三特征向量進行二分類處理得到分類結果，所述分類結果作為所述車輛圖像中包含的車身與車牌的關聯結果。

2.根據權利要求1所述的車輛圖像的處理方法，其特征在于，所述提取所述待處理的車輛圖像中的車身圖像特征以及車牌圖像特征，包括：

對所述待處理的車輛圖像進行特征提取，得到所述待處理的車輛圖像對應的特征圖，并根據所述特征圖確定所述車身位置和所述車牌位置；

在所述特征圖中獲取所述車身位置的車身圖像特征以及所述車牌位置的車牌圖像特征。

3.根據權利要求2所述的車輛圖像的處理方法，其特征在于，所述根據所述特征圖確定所述車身位置和所述車牌位置，包括：

根據所述特征圖確定至少兩個車身預測框的信息、至少兩個車牌預測框的信息、各個所述車身預測框對應的第一置信度以及各個所述車牌預測框對應的第二置信度；

根據至少兩個車身預測框的信息和各個所述車身預測框對應的第一置信度，從至少兩個車身預測框所處的位置中確定所述車身位置，并根據至少兩個車牌預測框的信息和各個所述車牌預測框對應的第二置信度，從至少兩個所述車身牌預測框所處的位置中確定所述車牌位置。

4.根據權利要求3所述的車輛圖像的處理方法，其特征在于，所述根據至少兩個車身預測框的信息和各個所述車身預測框對應的第一置信度，從至少兩個車身預測框所處的位置中確定所述車身位置，包括：

從至少兩個車身預測框選擇第一置信度最高的車身預測框，作為目標車身預測框，確定目標車身預測框與剩余每個車身預測框之間的交并比；

若不存在交并比小于預定閾值的車身預測框，則將目標車身預測框所處的位置確定為所述車身位置；

若存在交并比小于預定閾值的車身預測框，則在交并比小于預定閾值的車身預測框中，繼續將第一置信度最高的車身預測框作為目標車身預測框，并確定目標車身預測框與剩余每個車身預測框之間的交并比，直至不存在交并比小于預定閾值的車身預測框。

5.根據權利要求4所述的車輛圖像的處理方法，其特征在于，所述車身預測框的信息包括位置信息和尺寸信息，所述確定目標車身預測框與剩余每個車身預測框之間的交并比，包括：

根據所述車身預測框的位置信息和尺寸信息確定目標車身預測框的面積與剩余每個車身預測框的面積之間的第一并集，以及確定目標車身預測框的面積與剩余每個車身預測框的面積之間的第一交集；

基于所述第一并集與所述第一交集的比值，確定目標車身預測框的面積與剩余每個車身預測框的面積之間的交并比。