[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的文本表示與分類(lèi)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810409742.8
• 申請(qǐng)日: 2018-05-02
• 公開(kāi)（公告）號(hào): CN108573068A
• 公開(kāi)（公告）日: 2018-09-25
• 發(fā)明（設(shè)計(jì)）人: 胡向東;許奧狄;錢(qián)宏偉;周巧;唐賢倫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶郵電大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京同恒源知識(shí)產(chǎn)權(quán)代理有限公司 11275
• 代理人: 趙榮之

1.一種基于深度學(xué)習(xí)的文本表示與分類(lèi)方法，其特征在于：該方法包括以下步驟：

S1：初始化，生成一個(gè)內(nèi)容為空的離線系統(tǒng)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)包括命名實(shí)體數(shù)據(jù)集、文檔詞集合數(shù)據(jù)集、基于深度學(xué)習(xí)的多層網(wǎng)絡(luò)參數(shù)三個(gè)子數(shù)據(jù)庫(kù)；

S2：將采集到的數(shù)據(jù)進(jìn)行去重、清洗作為純凈數(shù)據(jù)集，將純凈數(shù)據(jù)集進(jìn)行詞性標(biāo)注并進(jìn)行命名實(shí)體識(shí)別得到命名實(shí)體數(shù)據(jù)集，然后存入命名實(shí)體數(shù)據(jù)集子數(shù)據(jù)庫(kù)中；將純凈數(shù)據(jù)集去停用詞和詞干化處理得到文檔詞集合數(shù)據(jù)集并存入文檔詞集合數(shù)據(jù)集子數(shù)據(jù)庫(kù)中；

S3：將文檔詞數(shù)據(jù)集作為word2vec詞向量模型的輸入，得到詞向量，并在得到的詞向量中引用加權(quán)系數(shù)來(lái)表示該單詞在當(dāng)前文本中的重要程度，最終得到訓(xùn)練好的詞向量模型；

S4：將步驟S3中得到詞向量模型作為CNN模型的輸入得到文檔的局部特征；

S5：將步驟S2中得到的命名實(shí)體作為全局信息的補(bǔ)充特征向量，與步驟S4中的文檔局部特征同時(shí)作為DBM模型的輸入，通過(guò)DBM模型融合命名實(shí)體特征和局部特征并對(duì)融合后的特征集進(jìn)行降維；

S6：將步驟S5中降維的特征作為DBN模型的輸入，通過(guò)DBN模型抽取得到高層文檔特征表示，然后對(duì)高層文檔特征表示進(jìn)行加標(biāo)簽處理最終得到一個(gè)層次分類(lèi)的結(jié)果，根據(jù)該層次分類(lèi)后的結(jié)果能有效提高檢索所需信息的準(zhǔn)確率。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的文本表示與分類(lèi)方法，其特征在于：在步驟S3中，在word2vec得到的詞向量中嵌入加權(quán)系數(shù)來(lái)表示這個(gè)單詞在當(dāng)前文檔中的重要程度，用于避免將出現(xiàn)頻率多的單詞誤認(rèn)為是重要程度高的單詞或?qū)㈩l率低的單詞誤認(rèn)為是重要程度低的單詞，并且能更準(zhǔn)確的判斷一個(gè)單詞在文檔中的重要程度。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的文本表示與分類(lèi)方法，其特征在于：在步驟S4中，利用卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)模型權(quán)重共享和局部連接的特點(diǎn)來(lái)提取文本局部特征；同時(shí)將步驟S2中提取的原文本的命名實(shí)體作為全局信息補(bǔ)充特征；再通過(guò)DBM模型融合局部特征和全局信息補(bǔ)充特征。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的文本表示與分類(lèi)方法，其特征在于：在步驟S5中，利用DBM深度學(xué)習(xí)模型自動(dòng)捕獲文本特征的特點(diǎn)，對(duì)融合后的局部特征和全局信息補(bǔ)充特征進(jìn)行初次降維；然后再基于DBN深度學(xué)習(xí)模型繼續(xù)抽取高層文檔的特征表示，進(jìn)行進(jìn)一步降維。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的文本表示與分類(lèi)方法，其特征在于：在步驟S4和S5中，CNN作為一種權(quán)值共享的深度學(xué)習(xí)模型，再配合該模型局部連接減少參數(shù)變量的特點(diǎn)，用于特征提取；DBM模型能夠融合文本局部特征和文本全局特征信息，在基于CNN模型并結(jié)合DBM模型的基礎(chǔ)上建立基于卷積神經(jīng)網(wǎng)絡(luò)的波爾茨曼機(jī)BM-CNN模型，用于提高對(duì)專(zhuān)業(yè)文本的處理。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的文本表示與分類(lèi)方法，其特征在于：所述BM-CNN模型中采用兩層DBM模型，將BM-CNN模型中的CNN模型的滑動(dòng)窗口的高度設(shè)置為50，每次以50步長(zhǎng)下移滑動(dòng)窗口位置，用于避免改變word2vec得到的詞向量中每個(gè)單詞所代表的意思。

7.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的文本表示與分類(lèi)方法，其特征在于：在所述BM-CNN模型的基礎(chǔ)上結(jié)合DBN模型建立深度卷積信念波爾茨曼機(jī)深度學(xué)習(xí)模型DCBBM，并用word2vec獲取詞向量并引入加權(quán)系數(shù)作為DCBBM模型的輸入。