[發明專利]仿生動態神經網絡及其學習方法和應用

在審

• 申請號: 202010637124.6
• 申請日: 2020-07-03
• 公開（公告）號: CN113887712A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 張釧
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 李彬彬;王鵬

本發明公開一種仿生動態神經網絡，該神經網絡能夠通過學習形成行為狀態關系網，并能夠在接收到設定的目標任務時，根據當前狀態和形成的所述行為狀態關系網進行狀態轉移和行為活動調控，直接完成所述目標任務。本發明實施例提供的仿生動態神經網絡通過模仿生物的神經回路拓撲結構以及動態特性，實現對狀態轉移的控制，使得狀態轉移與動作調控之間形成具有因果關系的行為狀態關系網，更加符合人腦處理問題的方式，提升了對復雜任務的分解能力和強化學習的效率，使強化學習可以更加現實地使用在實際的機器人任務中。本發明實施例的仿生動態神經網絡可以應用在強化學習模型中，用于構建能夠分解任務的學習效率更高的強化學習算法模型。

技術領域

本發明涉及智能算法技術領域，特別是一種仿生動態神經網絡及其學習方法和應用。

背景技術

由于深度強化學習可以使機器人通過試錯法進行學習，因而為精準智能化控制提供了強有力的算法支撐。特別是隨著AI技術的快速發展和廣泛應用，目前對支撐AI技術成熟度的深度學習算法的研究日益成為新的熱點。然而，現有深度強化學習算法存在以下缺陷：

1)現有深度強化學習算法利用的神經網絡模型是黑盒，只能進行端到端的學習，這種方式會導致一步做錯整個動作報廢，因而在訓練過程中需要機器人進行大量的嘗試，嘗試動作和學習的效率低下，收斂慢，使得嘗試動作和學習所需的時間通常遠超機器人可以運行的時間，效率非常低；

2)當前比較流行的一些深度強化學習模型，如QNN、DDPG、A3C、TRPO等等，均是以人工神經網絡為基礎，通過虛擬仿真環境進行大量訓練。然而，由于虛擬仿真環境難以充分涵蓋真實環境充可能出現的情況，此類模型在移植到真實環境后應用效果差強人意。

發明內容

為了解決上述問題，發明人通過大量的研究和實驗嘗試，找到了當前主流深度強化學習算法存在上述缺陷的根源，在于：其神經元和神經元之間連接的模型是靜態函數映射而非動力學系統，導致其在處理連續輸入的信號時效率低下；其學習過程完全依賴外部獎勵，導致其只有在外界提供獎勵信號時才可進行學習；其拓撲結構關注端對端的映射而忽略同層神經元之間的互相影響，因而很難形成動作和狀態之間的因果關系，進而無法對復雜的任務進行分解優化。

基于此，發明人想到通過模擬生物的腦部來構建一種新型的仿生動態神經網絡，以通過兼容神經元的動力學模型實現對連續信號的高效處理和分析。并且發明人還想到在這種新型的神經網絡中設計內在的獎勵和好奇心驅動的學習的機制，通過可解讀的神經網絡拓撲結構來編碼機器人與環境的狀態和計算好奇心，以通過狀態和動作的因果關系實現根據給定動作預測后果以及根據給定后果選擇動作，以在狀態路徑搜索和與狀態對應的動作調控的處理方式下實現對復雜任務的分解和動作的排序，從而提高學習效率。

根據本發明的第一個方面，提供了一種仿生動態神經網絡，其中，該仿生動態神經網絡能夠通過學習形成行為狀態關系網，并能夠在接收到設定的目標任務時，根據當前狀態和形成的所述行為狀態關系網進行狀態轉移和行為活動調控，直接完成設定的目標任務。

根據本發明的第二個方面，提供了另一種仿生動態神經網絡，該仿生動態神經網絡包括具有共享的多個狀態神經元的至少一個網絡單元，每個網絡單元均包括一個行為神經元，

其中，各狀態神經元和行為神經元之間能夠通過學習形成行為狀態關系網；

所述狀態神經元通過所述行為狀態關系網調控行為神經元的活動和實現狀態轉移。

根據本發明的第三個方面，提供了又一種仿生動態神經網絡，其包括具有共享的多個狀態神經元的至少一個網絡單元，每個網絡單元均包括一個行為神經元和一個獎勵神經元，

其中，各狀態神經元和行為神經元之間能夠通過學習形成行為狀態關系網；

所述獎勵神經元根據內部產生的激勵信號或從外部接收到的激勵信號調控其所在網絡單元內的學習的學習過程；