[發明專利]一種面向自然語言處理的基于循環學習單元的HTM設計方法

有效

• 申請號: 202010115996.6
• 申請日: 2020-02-25
• 公開（公告）號: CN111382840B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 蔡濤;劉天泉;牛德姣;周時頡;薛安榮;何志剛;盤朝奉
• 申請（專利權）人: 江蘇大學
• 主分類號: G06N3/044
• 分類號: G06N3/044;G06N3/048;G06N3/08;G06F40/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種面向自然語言處理的基于循環學習單元的HTM設計方法，針對自然語言處理應用，在使用HTM分析自然語言時，提出使用面向自然語言處理的基于循環學習單元的HTM設計方法，利用具有循環學習能力的循環學習單元代替現有的HTM神經元，將HTM時間池和循環學習單元對序列數據的學習能力相互結合，實現對蘊含無規律時間跨度大關聯的自然語言的更好的學習；通過循環學習單元的訓練方法，使得循環學習單元能學習自然語言語料中包含的特性，實現HTM對蘊含無規律時間跨度大關聯的自然語言更強的學習能力。本發明提高了HTM對蘊含無規律時間跨度大關聯的自然語言的學習功能，從而保證了在處理蘊含無規律時間跨度大關聯的自然語言時HTM的有效性和實用性。

技術領域

本發明涉及人工智能深度學習領域,尤其涉及一種面向自然語言處理的基于循環學習單元的HTM設計方法。

背景技術

自然語言所組成的序列包含了大量跨度較大的聯系，其規律性很差，使得分析和預測的難度很大。

近年來，深度學習算法在圖像處理、語音處理、自然語言處理等多個領域得到廣泛的應用并產生巨大的影響，這在很大程度上歸功于各種新型神經網絡模型以及高效的模型訓練方法。隨著生物神經科學的進步，越來越多的新型神經網絡正在被研究。HTM(Hierarchical?Temporal?Memory)是一種模仿人腦中處理高級認知功能的新皮質部分運作原理的新型人工神經網絡，其將接受到的各種模式與記憶中的模式進行匹配，并對下一刻將會接收到的信息作出預測與反應，如此循環往復，從而體現時效性(Temporal)。

當前訓練HTM的方法還比較簡單，通常使用Hebbian規則修改前后兩次激活神經元之間的連接值，以此訓練HTM；這種方法在處理蘊含無規律時間跨度大關聯的自然語言時難以獲得理想的結果；因此需要針對自然語言中蘊含無規律時間跨度大關聯的特點，提出新的HTM設計方法，提高HTM對自然語言的學習能力。

發明內容

本發明的目的在于提供一種面向自然語言處理的基于循環學習單元的HTM設計方法，以解決現有HTM對蘊含無規律時間跨度大關聯的自然語言學習能力較差的問題。

一種面向自然語言處理的基于循環學習單元的HTM設計方法，包括以下步驟：

步驟1，針對自然語言處理應用，將自然語言語料轉變為具有時序特性的數據流，作為基于HTM分析方法的輸入；

步驟2，使用面向自然語言處理的基于循環學習單元的HTM設計方法，利用具有循環學習能力的循環學習單元代替現有的HTM神經元，將HTM時間池和循環學習單元學習序列數據的能力相互結合，加強HTM對蘊含無規律時間跨度大關聯的自然語言的學習功能；

步驟3，通過循環學習單元的訓練方法，使得循環學習單元能學習自然語言語料中包含的特性，實現HTM對蘊含時序跨度大規律的自然語言數據更強的學習能力；

步驟4，完成對自然語言語料的分析，輸出在某種條件下對自然語言的處理結果。

進一步，所述步驟2中，使用面向自然語言處理的基于循環學習單元的HTM設計方法主要包括以下步驟：

步驟2.1，找出HTM時間池中t時刻處于激活狀態的循環學習單元；

步驟2.2，使用這些循環學習單元與HTM時間池中t-1時刻激活態循環學習單元之間的樹突連接值、以及循環學習單元中上一時刻的隱藏層作為當前循環學習單元的輸入；

步驟2.3，計算循環學習單元在t時刻的隱藏層計算方法如下：