[發明專利]倒計時信號燈識別及處理的方法和裝置

有效

• 申請號: 201910150226.2
• 申請日: 2019-02-28
• 公開（公告）號: CN109767637B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 馮昊;劉子立;鄧丹
• 申請（專利權）人: 杭州飛步科技有限公司
• 主分類號: G08G1/0962
• 分類號: G08G1/0962;G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京德和衡律師事務所 11405
• 代理人: 宋獻濤;方春暉

本發明公開了倒計時信號燈識別方法和裝置。該方法包括：從相機捕獲圖像數據；利用目標檢測模型，對圖像數據進行檢測以識別信號燈并獲得信號燈信息；利用分類模型，對檢測為倒計時燈的信號燈進行進一步識別，以獲得倒計時具體數字；對倒計時燈與信號燈進行關聯，獲得包括經關聯的信號燈倒計時信息的檢測結果；對檢測結果進行追蹤，以獲得最終倒計時信號燈檢測結果。

技術領域

概括地說，本發明涉及圖像處理和汽車安全輔助駕駛領域，具體地說，本發明涉及交通標志(特別是倒計時信號燈)識別方法和裝置。

背景技術

隨著技術的發展，機器人駕駛交通工具(例如，“UAV”或“無人機”)自動駕駛技術開始逐漸成為熱點。在自動駕駛領域，交通信號燈檢測技術是機器人駕駛交通工具的關鍵技術之一。如果無法正確地檢測和分類交通信號燈，則可能違反交通規則，并可能造成嚴重的交通事故而導致死亡、損傷、和/或具有明顯的損壞性。

傳統的交通信號燈檢測方案主要是基于傳統特征的方法，主要利用顏色直方圖和HOG(方向梯度直方圖)特征來刻畫交通信號燈的顏色和形狀，如紅色的直行燈、綠色的左轉燈等。但是，這種方案對環境的魯棒性不強，光照條件對于信號燈的顏色有非常大的影響，在強光照下紅色往往會看上去像黃色。而且信號燈形狀各異，并且由于攝像頭安裝位置和信號燈安裝位置的不確定，在圖像上信號燈的形狀會產生一定的形變。此外，在道路上車燈會對信號燈的檢測產生干擾。這些因素導致現有技術存在以下問題：交通信號燈識別精度不高、檢測容易發生錯誤、容易受到諸如光照和位置等等之類的外界環境各種因素的影響。

另外，在現有技術方法中，在交叉路口確定交通信號燈的區域，然后判斷其中顏色值的變化來確定交通信號燈的顏色。但是，這種方法對于初始確定的區域要求非常嚴格，而相機標定參數的變化，可能導致交通信號燈在圖像上的位置不是正確的位置。此外，現有技術通常只關心交通信號燈的檢測，對于倒計時不做處理，但忽略倒計時會使得在經過交叉路口時很危險(例如，在綠燈即將變黃或變紅的時)。因此，在自動駕駛領域，需要考慮如何將倒計時和信號燈結合起來檢測和識別。

發明內容

有鑒于此，本發明公開內容提供了用于倒計時信號燈識別及處理的方法、裝置、設備和計算機存儲介質。本發明公開內容使用高精度地圖等方式提供的信息對信號燈位置進行粗定位，從而減少環境中車燈等的干擾，接著采用基于深度學習的檢測方法對相機捕獲到的圖像進行檢測，使得交通信號燈的檢測識別更加準確，對于顏色、形狀的識別更加魯棒，同時使用追蹤方法來進一步減少環境中其它因素的干擾并降低模型錯檢的影響，然后使用基于深度學習的識別方法對倒計時信號燈進行識別，并且與信號燈進行關聯，獲得路口信號燈倒計時信息，以確保經過交叉路口時的安全性。

在一個方面，本發明的實施例提供了一種用于倒計時信號燈識別及處理的方法，該方法包括：從相機捕獲圖像數據；利用目標檢測模型，對所述圖像數據進行檢測以識別信號燈并獲得信號燈信息；利用分類模型，對檢測為倒計時燈的信號燈進行進一步識別，以獲得倒計時具體數字；對所述倒計時燈與信號燈進行關聯，獲得包括經關聯的信號燈倒計時信息的檢測結果；對所述檢測結果進行追蹤，以獲得最終倒計時信號燈檢測結果。

在本發明公開內容的一個實施例中，所述方法還包括：從高精度地圖設備獲取信號燈位置信息，以對所述圖像數據中的信號燈進行粗定位；利用所述目標檢測模型，對所述圖像數據中經過粗定位的區域進行檢測以識別信號燈并獲得信號燈信息。

在本發明公開內容的一個實施例中，所述方法還包括：對所述最終倒計時信號燈檢測結果進行修正，以去除不理想檢測結果。

在本發明公開內容的一個實施例中，所述信號燈信息包括：信號燈顏色、箭頭形狀、是否是倒計時燈、坐標位置和置信度等等。

在本發明公開內容的一個實施例中，所述目標檢測模型是通過以下至少之一改進，在Faster RCCN基礎上實現的新型快速RCNN模型：改善基礎網絡；改進RPN(區域建議網絡)的錨點選?。皇褂肦oI-Align來替代RoI-Pooling；使用難樣本進行在線挖掘。