[發(fā)明專利]一種面向自然語言處理的基于循環(huán)學(xué)習(xí)單元的HTM設(shè)計(jì)方法有效
| 申請?zhí)枺?/td> | 202010115996.6 | 申請日： | 2020-02-25 |
| 公開（公告）號： | CN111382840B | 公開（公告）日： | 2023-09-29 |
| 發(fā)明（設(shè)計(jì)）人： | 蔡濤;劉天泉;牛德姣;周時(shí)頡;薛安榮;何志剛;盤朝奉 | 申請（專利權(quán)）人： | 江蘇大學(xué) |
| 主分類號： | G06N3/044 | 分類號： | G06N3/044;G06N3/048;G06N3/08;G06F40/20 |
| 代理公司： | 暫無信息 | 代理人： | 暫無信息 |
| 地址： | 212013 江*** | 國省代碼： | 江蘇;32 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 面向 自然語言 處理 基于 循環(huán) 學(xué)習(xí) 單元 htm 設(shè)計(jì) 方法 | ||
1.一種面向自然語言處理的基于循環(huán)學(xué)習(xí)單元的HTM設(shè)計(jì)方法，其特征在于，包括以下步驟：
步驟1，針對自然語言處理應(yīng)用，將自然語言語料轉(zhuǎn)變?yōu)榫哂袝r(shí)序特性的數(shù)據(jù)流，作為基于HTM分析方法的輸入；
步驟1中主要包括以下步驟：
步驟1.1，收集公開的自然語言訓(xùn)練語料，或者收集某個(gè)特定領(lǐng)域的大量自然語言編寫的文章作為自然語言語料；
步驟1.2，將收集的自然語言語料，進(jìn)行字和詞的拆分，構(gòu)成具有前后順序關(guān)系的一組由字或詞構(gòu)成的序列，使其包含字或詞之間的時(shí)序特性；
步驟1.3，將這組由字或詞構(gòu)成的序列，作為一種面向自然語言處理的基于循環(huán)學(xué)習(xí)單元的HTM設(shè)計(jì)方法的輸入，有其進(jìn)行學(xué)習(xí)和分析；
步驟2，使用面向自然語言處理的基于循環(huán)學(xué)習(xí)單元的HTM設(shè)計(jì)方法，利用具有循環(huán)學(xué)習(xí)能力的循環(huán)學(xué)習(xí)單元代替現(xiàn)有的HTM神經(jīng)元，將HTM時(shí)間池和循環(huán)學(xué)習(xí)單元學(xué)習(xí)序列數(shù)據(jù)的能力相互結(jié)合，加強(qiáng)HTM對蘊(yùn)含無規(guī)律時(shí)間跨度大關(guān)聯(lián)的自然語言的學(xué)習(xí)功能；
步驟3，通過循環(huán)學(xué)習(xí)單元的訓(xùn)練方法，使得循環(huán)學(xué)習(xí)單元能學(xué)習(xí)自然語言語料中包含的特性，實(shí)現(xiàn)HTM對蘊(yùn)含時(shí)序跨度大規(guī)律的自然語言數(shù)據(jù)更強(qiáng)的學(xué)習(xí)能力；
步驟4，完成對自然語言語料的分析，輸出對自然語言的處理結(jié)果；
所述步驟2中主要包括以下步驟：
步驟2.1，找出HTM時(shí)間池中t時(shí)刻處于激活狀態(tài)的循環(huán)學(xué)習(xí)單元；
步驟2.2，使用這些循環(huán)學(xué)習(xí)單元與HTM時(shí)間池中t-1時(shí)刻激活態(tài)循環(huán)學(xué)習(xí)單元之間的樹突連接值、以及循環(huán)學(xué)習(xí)單元中上一時(shí)刻的隱藏層作為當(dāng)前循環(huán)學(xué)習(xí)單元的輸入；
步驟2.3，計(jì)算循環(huán)學(xué)習(xí)單元在t時(shí)刻的隱藏層計(jì)算方法如下：
表示t時(shí)刻HTM中第j個(gè)微柱中第i個(gè)HTM神經(jīng)元對應(yīng)的循環(huán)學(xué)習(xí)單元中隱藏層神經(jīng)元的激活值；表示由HTM中第j個(gè)微柱中第i個(gè)HTM神經(jīng)元上的突觸連通數(shù)值組成的向量；Whx和Whh分別表示循環(huán)學(xué)習(xí)單元中輸入層和隱藏層、隱藏層和隱藏層之間的權(quán)值矩陣，bh是隱藏層的偏置矩陣，f是使用雙曲正切函數(shù)tanh構(gòu)造的非線性激活函數(shù)；
步驟2.4，計(jì)算循環(huán)學(xué)習(xí)單元在t時(shí)刻的輸出計(jì)算方法如下：
σ表示循環(huán)學(xué)習(xí)單元輸出層的激活函數(shù)，Wyh表示循環(huán)學(xué)習(xí)單元中隱藏層和輸出層之間的權(quán)重矩陣；
步驟2.5，計(jì)算循環(huán)學(xué)習(xí)單元在t時(shí)刻的預(yù)測值計(jì)算方法如下：
步驟2.6，找出HTM在t時(shí)刻對t+1時(shí)刻的預(yù)測循環(huán)學(xué)習(xí)單元計(jì)算方法如下：
表示在t時(shí)刻是HTM神經(jīng)元處于激活態(tài)，1代表激活，0代表未激活；μ是設(shè)定的超參數(shù)；
所述步驟3中主要包括以下步驟：
步驟3.1，找出HTM時(shí)間池中t-1時(shí)刻處于預(yù)測狀態(tài)的循環(huán)學(xué)習(xí)單元和t時(shí)刻處于激活狀態(tài)的循環(huán)學(xué)習(xí)單元；
步驟3.2，使用HTM時(shí)間池中t時(shí)刻這些循環(huán)學(xué)習(xí)單元是否被激活來計(jì)算循環(huán)學(xué)習(xí)單元的誤差E，計(jì)算方法如下：
步驟3.3，調(diào)整循環(huán)學(xué)習(xí)單元中的權(quán)重和偏置參數(shù)，計(jì)算方法如下：
其中,θ為[Whx,Whh,Wyh,bh],θnew表示θ經(jīng)過訓(xùn)練后最小誤差處理后的新值,λ是學(xué)習(xí)率,表示對函數(shù)的某個(gè)變量求偏導(dǎo)數(shù)。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于江蘇大學(xué)，未經(jīng)江蘇大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010115996.6/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
