[發明專利]一種基于脈沖神經網絡的無人車類腦自主避障方法及系統

在審

• 申請號: 202011258252.6
• 申請日: 2020-11-12
• 公開（公告）號: CN112364774A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 楊雙鳴;張靖軒;胡植才;王江;鄧斌;李會艷
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/06;G06N3/08
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 王顕

本發明公開了一種基于脈沖神經網絡的無人車類腦自主避障方法及系統，改方法步驟為：S1采集模擬無人車搭載相機駕駛的視頻數據作為訓練數據；S2對訓練數據進行預處理；S3采用卷積神經網絡架構構建卷積神經網絡，將其各個神經元轉化成LIF脈沖神經元，將預處理的訓練數據輸入脈沖神經網絡中進行訓練；S4將完成訓練的脈沖神經網絡應用于無人車的處理器中，實時采集的視頻幀數據通過處理器中的脈沖神經網絡后輸出得到障礙阻擋的概率，處理器根據輸出的障礙阻擋的概率對當前無人車的前進速度、轉彎增益進行調整。本發明的有益效果是：提高計算效率，減少視頻幀處理時間，實現無人車的自主避障；可應用于存在動態障礙物的環境。

技術領域

本發明涉及無人車類腦自主避障技術領域，更具體地，涉及一基于脈沖神經網絡的無人車類腦自主避障方法及系統。

背景技術

近年來，隨著無人駕駛技術的不斷進步，人們對無人駕駛車輛的要求越來越高。從最開始的遙控駕駛發展到循跡駕駛，最終的，目標是要完全實現自主駕駛。在無人駕駛過程中，自主避開各種各樣的障礙物是最重要的一個部分，如果無人駕駛車輛無法成功的識別道路上的各種障礙，則有可能將造成重大的安全事故,對人身和經濟造成巨大損失與傷害。

因此，如何實現自主避障成為了無人駕駛技術所不得不解決的一大難題。

發明內容

本發明所要解決的技術問題是提供一種基于脈沖神經網絡的無人車類腦自主避障方法，以實現無人駕駛過程中的自主避障。脈沖神經網絡有更好的生物可解釋性和仿生性，同時脈沖神經網絡可以大大提高泛化能力，故采用將人工神經元變成LIF脈沖神經元。

為了解決上述技術問題，本發明是一種基于脈沖神經網絡的無人車類腦自主避障方法，包括步驟：

S1：采集模擬無人車搭載相機駕駛的視頻數據作為訓練數據；

S2：對S1所述訓練數據進行預處理；

S3：首先采用卷積神經網絡架構Alexnet構建卷積神經網絡，然后將其各個神經元轉化成LIF脈沖神經元，將S2所述經過預處理的訓練數據輸入所述脈沖神經網絡中進行訓練；

S4：將S3所述完成訓練的脈沖神經網絡應用于無人車的處理器中，無人車中的相機將實時采集的視頻幀數據流傳輸給處理器中，所述視頻幀數據通過處理器中的脈沖神經網絡后輸出得到障礙阻擋的概率，處理器根據輸出的障礙阻擋的概率對當前無人車的前進速度、轉彎增益進行調整，實現減速并通過左右轉實現自主避障。

本技術方案中，通過無人車采集大量視頻序列作為訓練數據，并首先對其進行預處理，從而提高訓練脈沖神經網絡的泛化能力，避免過擬合。結合輕量型脈沖神經網絡，將實時獲取的視頻序列輸入脈沖神經網絡中得到相應的碰撞概率，再根據脈沖神經網絡輸出端得到阻擋的概率從而通過處理器發出控制無人車速度和轉彎增益的指令，實現自主避障。

優選地，在S1步驟中，采用單目相機固定在無人車上進行視頻數據的采集，采集在不同地形環境下的大量障礙物圖片，實現在不同區域、不同障礙物的環境多變的情景下的訓練數據采集。

優選地，S2步驟中，對所述訓練數據進行預處理的步驟包括：

S21：對所述視頻數據進行逐幀人工標注，其中，對距離障礙物大于2m的視頻幀標記為0，對距離障礙物小于或等于2m的視頻幀標記為1；

S22：對所述完成標記的視頻幀中的圖像加入隨機噪聲，并使用翻轉和隨機裁剪等圖像增廣手段，進一步擴大數據集，最后得到完成預處理的訓練數據。