[發(fā)明專利]基于混合自動(dòng)編碼器深度學(xué)習(xí)的文本分類方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710852894.0
• 申請(qǐng)日: 2017-09-20
• 公開（公告）號(hào): CN107729393A
• 公開（公告）日: 2018-02-23
• 發(fā)明（設(shè)計(jì)）人: 楊振宇;靖慧
• 申請(qǐng)（專利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司37221
• 代理人: 張勇

1.一種基于混合自動(dòng)編碼器深度學(xué)習(xí)的文本分類方法，其特征在于，該方法包括：

獲取文本數(shù)據(jù)，進(jìn)行預(yù)處理；

預(yù)處理后的文本數(shù)據(jù)基于混合自動(dòng)編碼器訓(xùn)練模型進(jìn)行特征學(xué)習(xí)，所述混合自動(dòng)編碼器訓(xùn)練模型采用將稀疏受限玻爾茲曼機(jī)SRBM加入到收縮自動(dòng)編碼器CAE網(wǎng)絡(luò)中形成；

將特征學(xué)習(xí)后的文本數(shù)據(jù)進(jìn)行特征分類。

2.如權(quán)利要求1所述的一種基于混合自動(dòng)編碼器深度學(xué)習(xí)的文本分類方法，其特征在于，獲取的文本數(shù)據(jù)為帶標(biāo)簽的文本數(shù)據(jù)，將獲取的文本數(shù)據(jù)形成帶標(biāo)簽的文本數(shù)據(jù)集；

和/或直接獲取帶標(biāo)簽的文本數(shù)據(jù)集。

3.如權(quán)利要求2所述的一種基于混合自動(dòng)編碼器深度學(xué)習(xí)的文本分類方法，其特征在于，在該方法中，所述預(yù)處理的具體步驟為：

提取帶標(biāo)簽的文本數(shù)據(jù)集中的關(guān)鍵詞；

將帶標(biāo)簽的文本數(shù)據(jù)集進(jìn)行分詞，并去除停用詞；

計(jì)算帶標(biāo)簽的文本數(shù)據(jù)集中的各個(gè)關(guān)鍵詞的權(quán)重，并將不重要的詞語(yǔ)進(jìn)行過(guò)濾；

所述權(quán)重的計(jì)算采用TFIDF算法或改進(jìn)后的TFIDF算法。

4.如權(quán)利要求3所述的一種基于混合自動(dòng)編碼器深度學(xué)習(xí)的文本分類方法，其特征在于，所述混合自動(dòng)編碼器訓(xùn)練模型包括：

輸入層、第一隱含層、第二隱含層和輸出層；

所述第一隱含層采用CAE層，輸入層與所述第一隱含層的CAE層構(gòu)成CAE自動(dòng)編碼器網(wǎng)絡(luò)，輸入層為CAE自動(dòng)編碼器網(wǎng)絡(luò)的可視層，CAE層為CAE自動(dòng)編碼器網(wǎng)絡(luò)的隱藏層；

所述第二隱含層采用SRBM層，所述第一隱含層的CAE層與所述第二隱含層的SRBM層構(gòu)成SRBM網(wǎng)絡(luò)，CAE層為SRBM網(wǎng)絡(luò)的可視層，SRBM層為SRBM網(wǎng)絡(luò)的隱藏層。

5.如權(quán)利要求4所述的一種基于混合自動(dòng)編碼器深度學(xué)習(xí)的文本分類方法，其特征在于，所述特征學(xué)習(xí)采用無(wú)監(jiān)督逐層貪婪訓(xùn)練算法對(duì)所述混合自動(dòng)編碼器訓(xùn)練模型進(jìn)行處理，特征學(xué)習(xí)的具體步驟為：

輸入層獲取預(yù)處理后的帶標(biāo)簽的文本數(shù)據(jù)集；

根據(jù)接收輸入層的數(shù)據(jù)，計(jì)算第一隱含層的重構(gòu)誤差，迭代訓(xùn)練第一隱含層，得到第一隱含層參數(shù)和第一特征向量；

將第一隱含層輸出作為第二隱含層輸入，計(jì)算第二隱含層的重構(gòu)誤差，迭代訓(xùn)練第二隱含層，得到第二隱含層參數(shù)和第二特征向量；

第二隱含層輸出作為輸出層輸入，最終經(jīng)由輸出層輸出。