[發明專利]基于多模態融合的多腦區協同自主決策方法

有效

• 申請號: 201711325022.5
• 申請日: 2017-12-13
• 公開（公告）號: CN108197698B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 趙菲菲;梁倩;王桂香;曾毅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/764;G06V10/82
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

1.一種基于多模態融合的多腦區協同自主決策方法，其特征在于，所述方法包括：

通過超聲波傳感器和雙目攝像頭獲取障礙物的空間位置信息，將其輸入預先構建的多腦區協同強化學習模型；

基于所述障礙物的空間位置信息，使用尖峰時序神經網絡構建多腦區協同強化學習模型；

根據環境反饋的獎勵信息，通過多巴胺調控和突觸可塑性機制，更新所述多腦區協同強化學習模型，實現無人機自主避障；

所述多腦區協同強化學習模型包括：

尖峰時序神經網絡模塊，所述尖峰時序神經網絡模塊被配置為通過突觸可塑性機制判斷突觸前發送脈沖和突觸后神經元發放脈沖的時間差，根據判斷結果更新突觸強度，實現所述多腦區協同強化學習模型的更新學習；

神經簇模塊，所述神經簇模塊被配置為通過發送脈沖的方式將信息輸入至突觸后神經元，模擬人腦中的腦區；

多個神經簇模塊按照人腦腦區的連接方式進行連接。

2.根據權利要求1所述的方法，其特征在于，“獲取障礙物的空間位置信息”，其方法為：

通過無人機搭載的超聲波傳感器獲取所述無人機與所述障礙物的距離信息；

通過無人機搭載的雙目攝像頭獲取所述障礙物的圖像信息，根據所述障礙物的圖像信息獲取所述障礙物的深度信息；

將所述距離信息與所述深度信息進行融合，得到所述障礙物的空間位置信息。

3.根據權利要求1所述的方法，其特征在于，“根據判斷結果更新突觸強度”，其方法為按照下式所述的方法計算：

其中，A₊、A_-均表示學習率，τ₊，τ_-均表示時間常量，Δt_i表示突觸前到突觸后發放spike的時間延遲。

4.根據權利要求1所述的方法，其特征在于，“通過多巴胺調控和突觸可塑性機制，更新所述多腦區協同強化學習模型”，其方法為：

所述多巴胺和突觸可塑性機制通過調控所述多腦區協同強化學習模型的PFC-StrD1和PFC-StrD2的連接權重，更新所述多腦區協同強化學習模型；

更新后的多腦區協同強化學習模型根據輸入信息產生輸出信息后，得到獎勵信息。

5.根據權利要求4所述的方法，其特征在于，所述獎勵信息的計算方法為按照下式所述的方法計算：

reward_end＝reward(t)-reward(t-1)

其中，t表示時刻，reward_end表示當前時刻的獎勵信息減去上一時刻的獎勵信息。

6.根據權利要求4所述的方法，其特征在于，“更新所述多腦區協同強化學習模型”，其方法為：

當所述獎勵信息為正獎勵時，增強所述多腦區協同強化學習模型PFC-StrD1的連接，減弱所述多腦區協同強化學習模型PFC-StrD2的連接；

當所述獎勵信息為負獎勵時，增強所述多腦區協同強化學習模型PFC-StrD2的連接，減弱所述多腦區協同強化學習模型PFC-StrD1的連接。

7.根據權利要求2所述的方法，其特征在于，“獲取障礙物的空間位置信息”之后，該方法還包括：

使用棋盤格標定法對所述雙目攝像頭進行標定，得到所述雙目攝像頭的內、外參數；

根據所述雙目攝像頭的內、外參數計算校正所述雙目攝像頭采集圖像的校準參數，基于所述校準參數校準所述雙目攝像頭采集的圖像；

根據立體匹配Graph Cut算法中的SGBM算法計算校準后的圖像，得到所述雙目攝像頭采集圖像的視差圖；

對所述視差圖中的輪廓信息進行聚類分析，得到所述視差圖中物體所在區域；獲取所述物體所在區域中噪聲值大于預設閾值的區域，并將該區域作為危險障礙物區域。