[發明專利]交通信號燈識別方法、裝置、電子設備和存儲介質

在審

• 申請號: 201911180310.5
• 申請日: 2019-11-27
• 公開（公告）號: CN111079563A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 呂廷迅;史信楚
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;丁辰

本申請公開了一種交通信號燈識別方法、裝置、電子設備和存儲介質。其中，所述方法應用于交通信號燈識別模型中，包括：基于多階段網絡對目標圖像進行解析，得到多個階段特征；將所述多個圖像特征進行融合，得到融合特征；基于所述融合特征，利用包圍框回歸方法，識別出包含一組交通信號燈的外框；基于所述融合特征和識別出的外框，利用掩膜表示方法，識別出包含一個交通信號燈的內框；根據識別出的交通信號燈的外框和燈的內框確定所述交通信號燈的屬性信息。上述方案不僅能夠識別出一組交通信號燈，而且通過掩膜技術，即使該組交通信號燈內多個燈泡同時亮起，也能準確識別各燈泡的位置和屬性等信息。

技術領域

本申請涉及自動駕駛領域，具體涉及一種交通信號燈識別方法、裝置、電子設備和存儲介質。

背景技術

自動駕駛正處在蓬勃發展中，其中通過獲取紅綠燈路口的當前狀態來決定汽車是直行還是停止，左轉還是右轉，因此，紅綠燈的準確檢測對自動駕駛來說至關重要。

現有方案在紅綠燈檢測中存在的主要缺陷在于，由于紅綠燈燈泡很小，不容易檢測。有些檢測方案選擇不檢測每個小的紅綠燈燈泡，只針對一組紅綠燈泡的外框進行檢測，但該方案無法處理多個小燈泡同時亮的情況。而現有對包含一組紅綠燈的外框和針對每個燈泡的內框同時檢測的方案，利用外大框判斷圖像中某一位置是否存在紅綠燈，再通過小內框確定該組紅綠燈的每個燈泡的狀態，但由于對外框和內框這種大小包含關系的框架一起檢測，增加了檢測難度，對識別模型來說也不容易訓練。

申請內容

鑒于上述問題，提出了本申請以便提供一種克服上述問題或者至少部分地解決上述問題的一種交通信號燈識別方法、裝置、電子設備和存儲介質。

依據本申請的一個方面，提供了一種交通信號燈識別方法，所述方法應用于交通信號燈識別模型中，包括：

基于多階段網絡對目標圖像進行解析，得到多個階段特征；

將所述多個階段特征進行融合，得到融合特征；

基于所述融合特征，利用包圍框回歸方法，識別出包含一組交通信號燈的外框；

基于所述融合特征和識別出的外框，利用掩膜表示方法，識別出包含單個交通信號燈的內框；

根據識別出的交通信號燈的外框和交通信號燈的內框確定所述交通信號燈的屬性信息。

可選的，所述方法還包括：制作交通信號燈的數據集，用于對所述交通信號燈識別模型進行訓練，具體包括：

采集并獲取實際路口的圖片；

對各所述圖片進行屬性標注，所述屬性標注包括如下中的至少一項：所述外框的位置屬性、所述內框的位置屬性、顏色屬性、形狀屬性和方向屬性；

將帶有上述屬性標注的圖片進行電子標注并保存標注文件；

解析所述標注文件，提取所述外框和內框的數據，生成所述數據集。

可選的，所述基于所述融合特征，利用包圍框回歸方法，識別出包含一組交通信號燈的外框包括：

利用RPN網絡根據所述融合特征提取出候選區域，從所述候選區域根據所述包圍框回歸方法識別出所述外框；

所述基于所述融合特征、識別出的外框和掩膜表示方法，識別出交通信號燈的內框包括：

基于所述識別出的外框從所述融合特征獲取掩膜，通過所述掩膜的標簽變換獲取內框屬性，通過過濾獲得識別出交通信號燈的內框。

可選的，所述通過所述掩膜的標簽變換獲取內框屬性包括：

對所述掩膜進行編碼獲取像素點向量，解碼所述像素點向量，獲取內框的屬性。