[發明專利]基于類腦多感覺注意切換的計算方法

有效

• 申請號: 201711328671.0
• 申請日: 2017-12-13
• 公開（公告）號: CN108197711B
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 梁倩;曾毅;趙宇軒
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/02
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 郭文浩;陳曉鵬

1.一種基于類腦的多感覺注意切換方法，其特征在于，包括以下步驟：

步驟S1、基于大腦視覺皮層模型進行數字圖像的內容識別，得到視覺數字序列；所述的大腦視覺皮層模型為基于尖峰神經網絡構建的全連接的模擬大腦視覺皮層的手寫體數字識別模型；

步驟S2、基于大腦聽覺皮層模型進行數字音頻的內容識別，得到聽覺數字序列；所述的大腦聽覺皮層模型為基于尖峰神經網絡構建的全連接的模擬大腦聽覺皮層的音頻數字識別模型；

步驟S3、基于數字序列，采用數字推理模型分別進行數字歸納推理，計算數字序列之間的規律并存儲；所述數字序列包括所述視覺數字序列和所述聽覺數字序列；所述數字序列之間的規律包括各所述數字序列的差值、以及各所述數字序列之間的差值；所述數字推理模型為基于尖峰神經網絡構建的模擬大腦PFC相關數字推理腦區的模型；

步驟S4、基于視覺-聽覺注意切換模型，對步驟S3中得到的所述數字序列之間規律的進行處理后，選擇權重較高的信息作為當前可靠的模態信息進行推理計算，并得出識別結果；所述視覺-聽覺注意切換模型為基于類腦視聽覺切換機制，采用尖峰神經網絡構建的數學模型，用于模擬大腦中IPL相關多感覺切換相關腦區及通路。

2.根據權利要求1所述的基于類腦的多感覺注意切換方法，其特征在于，步驟S3中所述“計算數字序列之間的規律”，其方法為：

步驟S31、將每一個數字用D維隨機向量進行表征，并對每一維數據進行群體編碼；所述群體編碼采用基于一組帶有高斯感受野的神經元的群體編碼算法，該組神經元帶有相互重疊的感受野，該組神經元的個數為m，每一個數字向量由D*m個神經元進行表征；

步驟S32、采用數字推理模型分別對群體編碼后的所述數字序列進行差值計算，得到各所述數字序列的差值、以及各所述數字序列之間的差值。

3.根據權利要求2所述的基于類腦的多感覺注意切換方法，其特征在于，步驟S32中所述“采用數字推理模型分別對群體編碼后的所述數字序列進行差值計算”，其方法為：

步驟S321、對每一個所述數字序列，基于所述數字推理模型，順次計算所述數字序列中相鄰數字的差值，得到差值序列；

步驟S322、順次計算所述差值序列中相鄰數字的差值，得到更新后的差值序列，并通過本步驟的方法進行迭代計算，直至得到僅包含一個數字的差值序列，并以該數字作為對應數字序列的差值；

步驟S323、基于步驟S322得到的各所述數字序列的差值，基于所述數字推理模型計算各所述數字序列之間的差值。

4.根據權利要求3所述的基于類腦的多感覺注意切換方法，其特征在于，所述數字推理模型基于尖峰神經網絡進行構建，用于學習兩個輸入數字之間的差值；

輸入層為2*D*m個具有高斯感受野的神經元，接受兩個數字向量的輸入；

隱藏層為N層尖峰神經元構成的隱藏層，神經元模型為Izhikevich模型；

所述數字推理模型各層網絡采用全連接方式，輸出層為19個神經元，表征[-9,9]；

所述數字推理模型中權重更新方式采用STDP突觸學習機制。

5.根據權利要求1所述的基于類腦的多感覺注意切換方法，其特征在于，步驟S4所述“對步驟S3中得到的所述數字序列之間規律的進行處理后，選擇權重較高的信息作為當前可靠的模態信息進行推理計算”，其方法為：

步驟S41、基于腦區下頂葉功能模型，依據步驟S3中輸出的所述視覺數字序列和所述聽覺數字序列之間不同序列之間的差值，判斷當前模態是否需要切換，如果判斷結果為切換至聽覺模態則跳轉步驟S42，如果判斷結果為切換至視覺模態則跳轉步驟S43；

步驟S42、基于梭狀回功能模型，利用腦區下頂葉功能模型的激活信號、以及步驟S2的聽覺數字序列進行推理計算；

步驟S43、基于顳上回功能模型，利用腦區下頂葉功能模型的激活信號、以及步驟S1的視覺數字序列進行推理計算；

其中，

所述腦區下頂葉功能模型為基于尖峰神經網絡構建的模擬腦區下頂葉判斷當前視聽模態是否需要切換的模型；

所述梭狀回功能模型為基于尖峰神經網絡構建的模擬梭狀回進行聽覺模態信息處理的模型；

所述顳上回功能模型為基于尖峰神經網絡構建的模擬梭狀回進行視覺模態信息處理的模型。