[發明專利]基于多模態融合的多腦區協同自主決策方法

有效

• 申請號: 201711325022.5
• 申請日: 2017-12-13
• 公開（公告）號: CN108197698B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 趙菲菲;梁倩;王桂香;曾毅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/764;G06V10/82
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

本發明屬于認知神經技術領域，具體涉及一種基于多模態融合的多腦區協同自主決策方法。旨在解決現有無人機避障技術成本較高、不夠機動靈活以及現有的強化學習方法要求控制對象具有強烈的容錯能力的問題。本發明提供一種基于多模態融合的多腦區協同自主決策方法，包括獲取障礙物的空間位置信息，將其輸入預先構建的多腦區協同強化學習模型；根據環境反饋的獎勵信息，通過多巴胺調控和突觸可塑性機制，更新所述多腦區協同強化學習模型，實現無人機自主避障。本發明能夠準確地評估場景中障礙物的危險程度，并且模擬人腦自主學習過程，讓無人機快速準確地學習到避障策略，實現自主躲避障礙物，完成任務。

技術領域

本發明屬于認知神經技術領域，具體涉及一種基于多模態融合的多腦區協同自主決策方法。

背景技術

隨著無人機技術的發展，無人機因其實用性廣泛應用于多個技術領域，無人機的主動安全性是其得以在真實場景中安全應用的基本。無人機的主動安全性是指其能夠精確地感知障礙物并且自主地避開障礙物。現有的無人機避障技術中，主要包括紅外和激光測距實現無人機避障，但是紅外和激光容易受到外界環境的影響和干擾，導致距離測量不準，容易造成安全事故。此外，現有的無人機避障技術一般依賴于三維地圖、雙目攝像機或者其他高精度設備等實現，成本較高且不夠機動靈活。

此外，對于現有的無人機避障強化學習決策，現有的強化學習方法主要包括：

傳統強化學習方法：通過Q-learning、Actor-Critic算法解決離散的強化學習問題，適用于簡單的強化學習問題，并且要求狀態之間通過一步行為進行切換；

深度強化學習方法：通過結合深度神經網絡和 Q-learning算法，基于梯度下降方法優化神經網絡，其中深度神經網絡能夠抽象表達高維的輸入信息，并且不需要進行狀態劃分，適用于具有大量數據信息的情況，但是計算需要花費較多時間；

層次強化學習方法：通過集成不同的行為到子路線中，每個子路線都是強化學習的一個特殊情況，適用于解決復雜的規劃問題，并且要求控制對象盡可能經歷所有可能的情況。

現有的強化學習方法均需要控制對象具有強烈的容錯能力，可以多次嘗試錯誤的結果，并且不斷地調整策略，要求每次執行行為、輸入的狀態要有明顯的不同。而對于實際應用中的無人機，不可能經歷所有的狀態空間，而且為了確保其安全性，必須快速準確地學習到正確的策略。

因此，如何提出一種解決上述問題的方案是本領域技術人員目前需要解決的問題。

發明內容

為了解決現有技術中的上述問題，即為了解決現有無人機避障技術成本較高、不夠機動靈活以及現有的強化學習方法要求控制對象具有強烈的容錯能力的問題，本發明提供了一種基于多模態融合的多腦區協同自主決策方法，所述方法包括：

通過超聲波傳感器和雙目攝像頭獲取障礙物的空間位置信息，將其輸入預先構建的多腦區協同強化學習模型；

基于所述障礙物的空間位置信息，使用尖峰時序神經網絡構建多腦區協同強化學習模型；

根據環境反饋的獎勵信息，通過多巴胺調控和突觸可塑性機制，更新所述多腦區協同強化學習模型，實現無人機自主避障。

在上述方法的優選技術方案中，“獲取障礙物的空間位置信息”，其方法為：

通過所述無人機搭載的超聲波傳感器獲取所述無人機與所述障礙物的距離信息；

通過所述無人機搭載的雙目攝像頭獲取所述障礙物的圖像信息，根據所述障礙物的圖像信息獲取所述障礙物的深度信息；

將所述距離信息與所述深度信息進行融合，得到所述障礙物的空間位置信息。

在上述方法的優選技術方案中，所述多腦區協同強化學習模型包括：