[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的道路交通燈識別系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202210708301.4
• 申請日: 2022-06-22
• 公開（公告）號: CN115116035A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計）人: 朱曉東;劉國清;鄭偉;季思文
• 申請（專利權(quán)）人: 南京佑駕科技有限公司
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V20/62;G06V10/764;G06V10/82
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 鄧東旭

本發(fā)明公開了智能輔助駕駛技術(shù)領(lǐng)域的一種基于神經(jīng)網(wǎng)絡(luò)的道路交通燈識別系統(tǒng)及方法，包括：獲取車輛前方的道路圖像數(shù)據(jù)；將道路圖像數(shù)據(jù)送入已經(jīng)訓(xùn)練好的紅綠燈檢測神經(jīng)網(wǎng)絡(luò)框架，進行交通燈目標位置檢測及類型識別，得到交通燈目標位置信息和類型識別信息；結(jié)合交通燈目標位置信息和分類圖像預(yù)處理方法，在道路圖像數(shù)據(jù)中獲得相應(yīng)的交通燈圖像塊；根據(jù)類型識別信息將交通燈圖像塊送入紅綠燈識別多頭網(wǎng)絡(luò)模型，得到相應(yīng)的紅綠燈的狀態(tài)以及倒計時信息。本發(fā)明對交通燈倒計時數(shù)字的識別提供較為精準的判定，以供智能汽車從容應(yīng)對路口復(fù)雜環(huán)境。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于神經(jīng)網(wǎng)絡(luò)的道路交通燈識別系統(tǒng)及方法，屬于智能輔助駕駛技術(shù)領(lǐng)域。

背景技術(shù)

隨著城市交通的發(fā)展以及科技水平的進步，汽車的智能化已然成為近幾年各大車企的重點發(fā)展方向。各車企都盡可能采取各種智能化的設(shè)備和技術(shù)來提高汽車的主動安全性能，增加乘客的舒適性。其中交通燈識別系統(tǒng)有著重要應(yīng)用價值。然而實現(xiàn)一個真正實用的交通燈識別系統(tǒng)難度很高，原因如下：一是交通燈識別方法面臨的是一個開放的復(fù)雜環(huán)境，需要考慮多變光照和路口距離造成的大小變化等因素；二是交通燈識別方法由于應(yīng)用場景必須要做到實時運行才有意義。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于神經(jīng)網(wǎng)絡(luò)的道路交通燈識別系統(tǒng)及方法，對交通燈倒計時數(shù)字的識別提供較為精準的判定，以供智能汽車從容應(yīng)對路口復(fù)雜環(huán)境。

為達到上述目的，本發(fā)明是采用下述技術(shù)方案實現(xiàn)的：

第一方面，本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的道路交通燈識別方法，包括：

獲取車輛前方的道路圖像數(shù)據(jù)；

將道路圖像數(shù)據(jù)送入已經(jīng)訓(xùn)練好的紅綠燈檢測神經(jīng)網(wǎng)絡(luò)框架，進行交通燈目標位置檢測及類型識別，得到交通燈目標位置信息和類型識別信息；

結(jié)合交通燈目標位置信息和分類圖像預(yù)處理方法，在道路圖像數(shù)據(jù)中獲得相應(yīng)的交通燈圖像塊；

根據(jù)類型識別信息將交通燈圖像塊送入紅綠燈識別多頭網(wǎng)絡(luò)模型，得到相應(yīng)的紅綠燈的狀態(tài)以及倒計時信息。

進一步的，所述道路圖像數(shù)據(jù)由安裝在車輛上的車載單目攝像頭在車輛行駛過程中采集得到。

進一步的，所述紅綠燈檢測神經(jīng)網(wǎng)絡(luò)框架使用yolov5的檢測框架，且其網(wǎng)絡(luò)輸出為一層特征圖，所述交通燈目標位置信息由所述特征圖中解碼得到交通燈目標位置信息和類型識別信息。

進一步的，結(jié)合交通燈目標位置信息和分類圖像預(yù)處理方法，在道路圖像數(shù)據(jù)中獲得相應(yīng)的交通燈圖像塊，包括：在道路圖像數(shù)據(jù)中，根據(jù)交通燈目標位置信息設(shè)置中心點及目標框，獲得相應(yīng)的交通燈圖像塊，其中，所述交通燈目標位置信息的左上點、右下點坐標分別為(x₁,y₁)、(x₂,y₂)，所述中心點為所述目標框的寬高均為T＝1.1*(max(W，H))，W＝(x₂-x₁)且H＝(y₂-y₁)，將交通燈圖像塊歸一化縮放到分類網(wǎng)絡(luò)所需要的大小。

進一步的，所述紅綠燈識別多頭網(wǎng)絡(luò)模型包含圓形燈體識別任務(wù)、箭頭燈體識別任務(wù)和倒計時時間識別任務(wù)，且各個任務(wù)分別設(shè)置訓(xùn)練集及驗證集，作為不同的數(shù)據(jù)層分別送入網(wǎng)絡(luò)中進行前傳計算，每次前傳獲得相應(yīng)任務(wù)的loss，將三個任務(wù)的loss進行加權(quán)求和后再進行反傳迭代網(wǎng)絡(luò)參數(shù)，最終獲得所述紅綠燈識別多頭網(wǎng)絡(luò)模型。

第二方面，本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的道路交通燈識別系統(tǒng)，包括：

數(shù)據(jù)獲取模塊：用于獲取車輛前方的道路圖像數(shù)據(jù)；