[發(fā)明專利]一種構(gòu)建情感分類模型的方法

無效

• 申請?zhí)枺?/td>: 201410012464.4
• 申請日: 2014-01-10
• 公開（公告）號: CN103729459A
• 公開（公告）日: 2014-04-16
• 發(fā)明（設(shè)計）人: 周延泉
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種構(gòu)建學(xué)習(xí)模型的方法，其特征在于，該方法包括：

方法是利用人工神經(jīng)網(wǎng)絡(luò)的特點，人工神經(jīng)網(wǎng)絡(luò)本身就是具有層次結(jié)構(gòu)的系統(tǒng)，如果給定一個神經(jīng)網(wǎng)絡(luò)，我們假設(shè)其輸出與輸入是相同的，然后訓(xùn)練調(diào)整其參數(shù)，得到每一層中的權(quán)重。自然地，我們就得到了輸入的幾種不同表示（每一層代表一種表示），這些表示就是特征。自動編碼器就是一種盡可能復(fù)現(xiàn)輸入信號的神經(jīng)網(wǎng)絡(luò)。為了實現(xiàn)這種復(fù)現(xiàn)，自動編碼器就必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素，找到可以代表原信息的主要成分。

2.根據(jù)權(quán)利要求1所述的構(gòu)建學(xué)習(xí)模型的方法，其特征在于，所述根據(jù)輸入得到編碼的方法為:

在一般的神經(jīng)網(wǎng)絡(luò)中，我們輸入的樣本是有標(biāo)簽的，即有輸入和目標(biāo)值的，這樣我們根據(jù)當(dāng)前輸出和目標(biāo)值之間的差去改變前面各層的參數(shù)，直到收斂。但現(xiàn)在我們只有無標(biāo)簽數(shù)據(jù)，所以，我們把輸入傳入一個編碼器，就會得到一個編碼，這個編碼也就是輸入的一個表示，那么我們?yōu)榱酥肋@個編碼表示的就是輸入，我們加一個解碼器，這時候就會輸出一個信息。如果輸出的這個信息和一開始的輸入信號比較接近，我們相信這個編碼是可靠的。所以，我們就通過調(diào)整編碼器和解碼器的參數(shù)，使得重構(gòu)誤差最小，這時候我們就得到了輸入信號的第一個表示了，也就是編碼了。因為是無標(biāo)簽數(shù)據(jù)，所以誤差的來源就是直接重構(gòu)后與原輸入相比得到。

3.根據(jù)權(quán)利要求2所述的構(gòu)建學(xué)習(xí)模型的方法，其特征在于，通過編碼器產(chǎn)生特征，逐層訓(xùn)練；

根據(jù)上面就可以得到第一層的編碼，重構(gòu)的誤差最小讓我們相信這個編碼就是原輸入信號的良好表達，在這里我們假設(shè)它和原信號是一樣的。第二層和第一層的訓(xùn)練方式就沒有差別了，我們將第一層輸出的編碼當(dāng)成第二層的輸入信號，同樣最小化重構(gòu)誤差，就會得到第二層的參數(shù)，并且得到第二層輸入的編碼，也就是原輸入信息的第二個表達。其他層使用同樣的方法依次進行。

4.根據(jù)權(quán)利要求3所述的構(gòu)建網(wǎng)絡(luò)的方法，其特征在于，配置有監(jiān)督的微調(diào)；

經(jīng)過上面的方法，就可以得到多層編碼。實驗需要的層數(shù)目要根據(jù)自己實驗具體效果調(diào)試。目前它只是學(xué)習(xí)獲得了一個可以良好代表輸入的特征，這個特征可以最大程度上代表原輸入信號。那么，為了實現(xiàn)分類，我們就可以在自動編碼器的最頂?shù)木幋a層添加一個分類器如羅杰斯特回歸，然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法去訓(xùn)練。

也就是說，這時候，我們需要將最后層的特征編碼輸入到最后的分類器，通過有標(biāo)簽樣本，通過監(jiān)督學(xué)習(xí)進行微調(diào)。

5.根據(jù)權(quán)利要求4所述的構(gòu)建網(wǎng)絡(luò)的方法，其特征在于，加入深信度網(wǎng)絡(luò)；

深信度網(wǎng)絡(luò)由多個限制玻爾茲曼機層組成。這些網(wǎng)絡(luò)被“限制”為一個可視層和一個隱層，層間存在連接，但層內(nèi)的單元間不存在連接。隱層單元被訓(xùn)練去捕捉在可視層表現(xiàn)出來的高階數(shù)據(jù)的相關(guān)性。

首先，一個深信度網(wǎng)路的連接是通過自頂向下的生成權(quán)值來指導(dǎo)確定的，限制波爾茲曼機相比傳統(tǒng)和深度分層的sigmoid信念網(wǎng)絡(luò)，它能易于連接權(quán)值的學(xué)習(xí)。

最開始的時候，通過一個非監(jiān)督貪婪逐層方法去預(yù)訓(xùn)練獲得生成模型的權(quán)值，在這個訓(xùn)練階段，在可視層會產(chǎn)生一個向量v，通過它將值傳遞到隱層。反過來，可視層的輸入會被隨機的選擇，以嘗試去重構(gòu)原始的輸入信號。最后，這些新的可視的神經(jīng)元激活單元將前向傳遞重構(gòu)隱層激活單元，獲得h，在訓(xùn)練過程中，首先將可視向量值映射給隱單元；然后可視單元由隱層單元重建；這些新可視單元再次映射給隱單元，這樣就獲取新的隱單元。執(zhí)行這種反復(fù)步驟叫做Gibbs采樣。本專利中我們采用Gibbs采樣，而隱層激活單元和可視層輸入之間的相關(guān)性差別就作為權(quán)值更新的主要依據(jù)。

采用這樣的方法可以使得訓(xùn)練時間會顯著的減少，因為只需要單個步驟就可以接近最大似然學(xué)習(xí)。增加進網(wǎng)絡(luò)的每一層都會改進訓(xùn)練數(shù)據(jù)的對數(shù)概率，我們可以理解為越來越接近能量的真實表達。

6.構(gòu)建深信度關(guān)系網(wǎng)絡(luò)；

在最高兩層，權(quán)值被連接到一起，這樣更低層的輸出將會提供一個參考的線索或者關(guān)聯(lián)給頂層，這樣頂層就會將其聯(lián)系到它的記憶內(nèi)容。在預(yù)訓(xùn)練后，深信度網(wǎng)絡(luò)可以通過利用帶標(biāo)簽數(shù)據(jù)用BP算法去對判別性能做調(diào)整。在這里，一個標(biāo)簽集將被附加到頂層（推廣聯(lián)想記憶），通過一個自下向上的，學(xué)習(xí)到的識別權(quán)值獲得一個網(wǎng)絡(luò)的分類面。這個性能會比單純的BP算法訓(xùn)練的網(wǎng)絡(luò)好。深信度網(wǎng)絡(luò)的BP算法只需要對權(quán)值參數(shù)空間進行一個局部的搜索，這相比前向神經(jīng)網(wǎng)絡(luò)來說，訓(xùn)練是要快的，而且收斂的時間也少。