[發(fā)明專利]倒計時信號燈識別及處理的方法和裝置

有效

• 申請?zhí)枺?/td>: 201910150226.2
• 申請日: 2019-02-28
• 公開（公告）號: CN109767637B
• 公開（公告）日: 2021-08-10
• 發(fā)明（設(shè)計）人: 馮昊;劉子立;鄧丹
• 申請（專利權(quán)）人: 杭州飛步科技有限公司
• 主分類號: G08G1/0962
• 分類號: G08G1/0962;G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京德和衡律師事務(wù)所 11405
• 代理人: 宋獻(xiàn)濤;方春暉

1.一種用于倒計時信號燈識別的方法，所述方法包括：

從相機捕獲圖像數(shù)據(jù)；

利用基于深度學(xué)習(xí)的目標(biāo)檢測模型，對所述圖像數(shù)據(jù)進(jìn)行檢測以識別信號燈并獲得信號燈信息；其中，所述目標(biāo)檢測模型是在Faster RCCN基礎(chǔ)上實現(xiàn)的新型快速RCNN模型；

利用基于卷積神經(jīng)網(wǎng)絡(luò)CNN的分類模型，對檢測為倒計時燈的信號燈進(jìn)行進(jìn)一步識別，以獲得倒計時具體數(shù)字；

對所述倒計時燈與信號燈進(jìn)行關(guān)聯(lián)，獲得包括經(jīng)關(guān)聯(lián)的信號燈倒計時信息的檢測結(jié)果；

對所述檢測結(jié)果進(jìn)行追蹤，以獲得最終倒計時信號燈檢測結(jié)果；

其中，對所述倒計時燈與信號燈進(jìn)行關(guān)聯(lián)以獲得包括經(jīng)關(guān)聯(lián)的信號燈倒計時信息的檢測結(jié)果，包括：

確定倒計時燈和其它信號燈；

獲取所述倒計時燈的倒計時燈信息和所述其它信號燈的信號燈信息，其中所述倒計時燈信息包括倒計時燈的圖像位置、倒計時具體數(shù)字、倒計時燈寬度、倒計時燈顏色，所述其它信號燈的信號燈信息包括信號燈的圖像位置、信號燈顏色、信號燈類型；

對于所述倒計時燈和所述其它信號燈中的每一個，分別計算圖像上的像素歐氏距離；

針對每一個倒計時燈，將與所述倒計時燈的所述像素歐氏距離小于所述倒計時燈寬度的閾值倍數(shù)的所述其它信號燈，選擇為所述倒計時燈的候選匹配信號燈；

針對每一個倒計時燈，在其所有候選匹配信號燈中，選取顏色相同、距離最近的信號燈作為成功關(guān)聯(lián)的信號燈。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

從高精度地圖設(shè)備獲取信號燈位置信息，以對所述圖像數(shù)據(jù)中的信號燈進(jìn)行粗定位，

其中，利用所述目標(biāo)檢測模型，對所述圖像數(shù)據(jù)中經(jīng)過粗定位的區(qū)域進(jìn)行檢測以識別信號燈并獲得信號燈信息。

3.根據(jù)權(quán)利要求1所述的方法，還包括：

對所述最終倒計時信號燈檢測結(jié)果進(jìn)行修正，以去除不理想檢測結(jié)果。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述新型快速RCNN模型通過以下至少之一改進(jìn)：

改善基礎(chǔ)網(wǎng)絡(luò)；

改進(jìn)RPN區(qū)域建議網(wǎng)絡(luò)的錨點選取；

使用RoI-Align來替代RoI-Pooling；

使用難樣本進(jìn)行在線挖掘。

5.根據(jù)權(quán)利要求1所述的方法，其中，對所述檢測結(jié)果進(jìn)行追蹤以獲得最終倒計時信號燈檢測結(jié)果，包括：

根據(jù)信號燈顏色、類別、位置，選擇所述經(jīng)關(guān)聯(lián)的信號燈中置信度高于閾值的高置信度信號燈檢測結(jié)果，以計算其與圖像上的上一幀最終信號燈檢測結(jié)果的歐氏距離，如果信號燈顏色、類別不同，則所述歐氏距離為正無窮；

如果所述高置信度信號燈檢測結(jié)果是新的信號燈，則加入當(dāng)前幀的最終信號燈檢測結(jié)果；

使用匈牙利匹配對所述歐氏距離進(jìn)行匹配，獲得兩幀之間信號燈的對應(yīng)關(guān)系；

如果上一幀的最終信號燈檢測結(jié)果與所述高置信度信號燈檢測結(jié)果匹配成功，則認(rèn)為是可靠的檢測結(jié)果，并加入所述當(dāng)前幀的最終信號燈檢測結(jié)果；

如果上一幀的最終信號燈檢測結(jié)果與所述高置信度信號燈檢測結(jié)果不匹配，則與所述經(jīng)關(guān)聯(lián)的信號燈中置信度低于閾值的低置信度信號燈檢測結(jié)果繼續(xù)匹配，如果匹配上，則是可靠的檢測結(jié)果并加入所述當(dāng)前幀的最終信號燈檢測結(jié)果，如果不匹配，則丟棄所述低置信度信號燈檢測結(jié)果，如果所述上一幀的最終信號燈檢測結(jié)果已經(jīng)有門限次數(shù)都沒有匹配，則丟棄所述上一幀的最終信號燈檢測結(jié)果；

獲得當(dāng)前幀的所有未丟棄的經(jīng)關(guān)聯(lián)的信號燈檢測結(jié)果作為追蹤結(jié)果，其中所述追蹤結(jié)果的信息包括信號燈的位置、顏色和形狀。

6.根據(jù)權(quán)利要求4所述的方法，其中，在識別信號燈時，如果獲得的信號燈在圖像位置上重疊，則通過NMS非極大值抑制以根據(jù)不同類別的信號燈來各自去除可能的誤檢以及多余的檢測。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述信號燈信息包括：信號燈顏色、箭頭形狀、是否是倒計時燈、坐標(biāo)位置和置信度。

8.一種用于倒計時信號燈識別的裝置，用于執(zhí)行權(quán)利要求1至7中任一項的方法。

9.一種用于倒計時信號燈識別的計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有至少一個可執(zhí)行的計算機程序指令，所述計算機程序指令用于執(zhí)行權(quán)利要求1至7中任一項的方法。