[發明專利]一種基于脈沖神經網絡的無人車類腦自主避障方法及系統

在審

• 申請號: 202011258252.6
• 申請日: 2020-11-12
• 公開（公告）號: CN112364774A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 楊雙鳴;張靖軒;胡植才;王江;鄧斌;李會艷
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/06;G06N3/08
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 王顕

1.一種基于脈沖神經網絡的無人車類腦自主避障方法，包括步驟：

S1：采集模擬無人車搭載相機駕駛的視頻數據作為訓練數據；

S2：對S1步驟所述訓練數據進行預處理；

S3：首先采用卷積神經網絡架構Alexnet構建卷積神經網絡，然后將其各個神經元轉化成LIF脈沖神經元，將S2步驟所述經過預處理的訓練數據輸入所述脈沖神經網絡中進行訓練；

S4：將S3步驟所述完成訓練的脈沖神經網絡應用于無人車的處理器中，無人車中的相機將實時采集的視頻幀數據流傳輸給處理器中，所述視頻幀數據通過處理器中的脈沖神經網絡后輸出得到障礙阻擋的概率，處理器根據輸出的障礙阻擋的概率對當前無人車的前進速度、轉彎增益進行調整，實現減速并通過左右轉實現自主避障。

2.根據權利要求1所述的一種基于脈沖神經網絡的無人車類腦自主避障方法，其特征是：在S1步驟中，采用單目相機固定在無人車上進行視頻數據的采集，采集在不同地形環境下的大量障礙物圖片，實現在不同區域、不同障礙物的環境多變的情景下的訓練數據采集。

3.根據權利要求1所述的一種基于脈沖神經網絡的無人車類腦自主避障方法，其特征是：S2步驟中，對所述訓練數據進行預處理的步驟包括：

S21：對所述視頻數據進行逐幀人工標注，其中，對距離障礙物大于2m的視頻幀標記為0，對距離障礙物小于或等于2m的視頻幀標記為1；

S22：對所述完成標記的視頻幀中的圖像加入隨機噪聲，并使用翻轉和隨機裁剪等圖像增廣手段，進一步擴大數據集，最后得到完成預處理的訓練數據。

4.根據權利要求1所述的一種基于脈沖神經網絡的無人車類腦自主避障方法，其特征是：S3步驟中，所述脈沖神經網絡的結構包括神經網絡架構Alexnet，AlexNet有60million個參數和65000個神經元，網絡總共的層數為8層，5層卷積，3層全連接層；最終的輸出層改成2通道的softmax分類器，每一個卷積層由逐點卷積層、BN歸一化層和Relu激活層，同時在每個卷積層中使用dropout方法，所述采用dropout方法的卷積層的輸出端與全連接層的輸入端連接，最后由softmax分類器得出每一幀圖像兩類的概率，最后確定前方是否有障礙物；所述卷積層中采用Relu激活函數有效的避免梯度爆炸和梯度消失。

5.根據權利要求4所述的一種基于脈沖神經網絡的無人車類腦自主避障方法，其特征是：采用dropout方法的卷積層中的dropout值預設為0.5，防止過擬合。

6.根據權利要求4所述的一種基于脈沖神經網絡的無人車類腦自主避障方法，其特征是：所述逐通道卷積層為5*5和3*3卷積核。

7.根據權利要求1所述的一種基于脈沖神經網絡的無人車類腦自主避障方法，其特征是：S3步驟中，還包括以下步驟：采用softmax分類器和交叉熵損失函數對所述脈沖神經網絡的各層參數進行優化，其計算公式如下：

其中，表示卷積神經網絡輸出的障礙阻擋概率，y表示輸入脈沖神經網絡的視頻幀所對應的標記。

8.根據權利要求1所述的一種基于脈沖神經網絡的無人車類腦自主避障方法，其特征是：S4步驟中，所述處理器根據輸出的碰撞概率對當前無人車的運行速度進行調制的具體步驟包括根據輸出的碰撞概率調制無人車的前行速度，實現無人車的自主避障；其中，所述無人車的前行速度調制公式如下：

vk＝(1-α)vk-1+α(1-pt)Vmax

其中，vk表示調制速度，pt表示碰撞概率，Vmax表示無人車最大前行速度，α表示調制系數，且0≤α≤1。

9.一種根據權利要求1所述基于脈沖神經網絡的無人車類腦自主避障方法的系統，包括：搭載有單目相機的無人車、運動控制系統和對應FPGA硬件實現平臺，其特征是：所述無人車通過單目相機采集當前實時的視頻序列數據，并傳送到處理器中；所述顯卡用于對脈沖神經網絡進行訓練，然后將完成訓練的脈沖神經網絡移植到處理器中應用；所述處理器根據從所述顯卡移植得到的脈沖神經網絡輸出得到當前視頻序列所對應的碰撞概率，根據預設的調制公式得到無人車的速度，并向運動控制系統發送控制指令；所述運動控制系統根據從所述處理器中發送的指令調整無人車的速度和轉彎增益，實現自主避障。