[發(fā)明專利]一種基于隨機(jī)反饋的限制玻爾茲曼機(jī)學(xué)習(xí)方法與裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710028131.4
• 申請(qǐng)日: 2017-01-13
• 公開（公告）號(hào): CN106779094A
• 公開（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 譚文學(xué);郭國強(qiáng);汪永琳;王細(xì)萍;彭易波;劉亮
• 申請(qǐng)（專利權(quán)）人: 湖南文理學(xué)院
• 主分類號(hào): G06N99/00
• 分類號(hào): G06N99/00
• 代理公司: 北京風(fēng)雅頌專利代理有限公司11403
• 代理人: 李弘

1.一種基于隨機(jī)反饋的限制玻爾茲曼機(jī)學(xué)習(xí)方法，其特征在于，包括：

獲取所有訓(xùn)練樣本并初始化限制玻爾茲曼機(jī)的模型參數(shù)；

選取訓(xùn)練樣本使用限制玻爾茲曼機(jī)進(jìn)行反饋采樣，獲得局部最優(yōu)的重構(gòu)樣本；

根據(jù)局部最優(yōu)的重構(gòu)樣本修正模型參數(shù)，并選取下一訓(xùn)練樣本進(jìn)行反饋采樣；

對(duì)所有訓(xùn)練樣本執(zhí)行反饋采樣與模型參數(shù)修正，輸出模型參數(shù)的極大似然估計(jì)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述限制玻爾茲曼機(jī)的模型參數(shù)包括可見層偏置的梯度矢量、隱藏層偏置的梯度矢量與連接矩陣偏置的梯度矩陣。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述選取訓(xùn)練樣本使用限制玻爾茲曼機(jī)進(jìn)行反饋采樣，獲得局部最優(yōu)的重構(gòu)樣本包括：

選取訓(xùn)練樣本作為當(dāng)前樣本，同時(shí)初始化誤差2-范數(shù)與采樣計(jì)數(shù)器；

使用限制玻爾茲曼機(jī)對(duì)當(dāng)前樣本先后進(jìn)行正向采樣和反向采樣，獲得更新樣本；

計(jì)算更新樣本與訓(xùn)練樣本的誤差2-范數(shù)，并累加采樣計(jì)數(shù)器；

將更新樣本作為當(dāng)前樣本迭代進(jìn)行正向采樣和反向采樣直到達(dá)到局部最優(yōu)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將更新樣本作為當(dāng)前樣本迭代進(jìn)行正向采樣和反向采樣直到達(dá)到局部最優(yōu)為：將更新樣本作為當(dāng)前樣本迭代進(jìn)行正向采樣和反向采樣，直到更新樣本與訓(xùn)練樣本的誤差2-范數(shù)大于當(dāng)前樣本與訓(xùn)練樣本的誤差2-范數(shù)，且當(dāng)前樣本與訓(xùn)練樣本的誤差2-范數(shù)不為零時(shí)終止；并將當(dāng)前樣本作為局部最優(yōu)的重構(gòu)樣本。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)局部最優(yōu)的重構(gòu)樣本修正模型參數(shù)包括可見層偏置的各個(gè)分量、隱藏層偏置的各個(gè)分量與連接矩陣偏置的梯度矩陣分量。

6.一種基于隨機(jī)反饋的限制玻爾茲曼機(jī)學(xué)習(xí)裝置，其特征在于，包括：

啟動(dòng)模塊，用于獲取所有訓(xùn)練樣本并初始化限制玻爾茲曼機(jī)的模型參數(shù)；

采樣模塊，用于選取訓(xùn)練樣本使用限制玻爾茲曼機(jī)進(jìn)行反饋采樣，獲得局部最優(yōu)的重構(gòu)樣本；

修正模塊，用于根據(jù)局部最優(yōu)的重構(gòu)樣本修正模型參數(shù)，并選取下一訓(xùn)練樣本進(jìn)行反饋采樣；

循環(huán)模塊，連接至采樣模塊與修正模塊，用于對(duì)所有訓(xùn)練樣本執(zhí)行反饋采樣與模型參數(shù)修正，輸出模型參數(shù)的極大似然估計(jì)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述限制玻爾茲曼機(jī)的模型參數(shù)包括可見層偏置的梯度矢量、隱藏層偏置的梯度矢量與連接矩陣偏置的梯度矩陣。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述采樣模塊包括：

啟動(dòng)單元，用于選取訓(xùn)練樣本作為當(dāng)前樣本，同時(shí)初始化誤差2-范數(shù)與采樣計(jì)數(shù)器；

采樣單元，用于使用限制玻爾茲曼機(jī)對(duì)當(dāng)前樣本先后進(jìn)行正向采樣和反向采樣，獲得更新樣本；

更新單元，用于計(jì)算更新樣本與訓(xùn)練樣本的誤差2-范數(shù)，并累加采樣計(jì)數(shù)器；

迭代單元，用于將更新樣本作為當(dāng)前樣本迭代進(jìn)行正向采樣和反向采樣直到達(dá)到局部最優(yōu)。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述迭代單元將更新樣本作為當(dāng)前樣本迭代進(jìn)行正向采樣和反向采樣直到達(dá)到局部最優(yōu)為：將更新樣本作為當(dāng)前樣本迭代進(jìn)行正向采樣和反向采樣，直到更新樣本與訓(xùn)練樣本的誤差2-范數(shù)大于當(dāng)前樣本與訓(xùn)練樣本的誤差2-范數(shù)，且當(dāng)前樣本與訓(xùn)練樣本的誤差2-范數(shù)不為零時(shí)終止；并將當(dāng)前樣本作為局部最優(yōu)的重構(gòu)樣本。

10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述根據(jù)局部最優(yōu)的重構(gòu)樣本修正模型參數(shù)包括可見層偏置的各個(gè)分量、隱藏層偏置的各個(gè)分量與連接矩陣偏置的梯度矩陣分量。