[發(fā)明專利]經(jīng)由主題稀疏自編碼器和實(shí)體嵌入的用于輸入分類的表示學(xué)習(xí)

有效

• 申請?zhí)枺?/td>: 201911261729.3
• 申請日: 2019-12-10
• 公開（公告）號: CN111291181B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 李定成;張婧媛;李平
• 申請（專利權(quán)）人: 百度(美國)有限責(zé)任公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F18/241;G06N3/0455;G06N3/0464;G06N3/08;G06F18/2132;G06F17/18
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋圓圓

1.一種用于對包括一組詞的輸入進(jìn)行分類的計算機(jī)實(shí)現(xiàn)的方法，所述方法包括：

將所述輸入饋送入主題建模、詞嵌入和實(shí)體嵌入TWEE模型；

獲得所述輸入的主題嵌入，所述主題嵌入反映所述輸入中的主題的分布；

獲得所述輸入的詞嵌入，所述詞嵌入考慮所述輸入的局部上下文信息；

獲得與所述輸入中的一個或多個實(shí)體對應(yīng)的實(shí)體嵌入；

使用所述TWEE模型，連接至少所述主題嵌入和所述詞嵌入以獲得連接的表示；以及

通過一個或多個神經(jīng)網(wǎng)絡(luò)層處理所述連接的表示以獲得所述輸入的分類；

其中，所述通過一個或多個神經(jīng)網(wǎng)絡(luò)層處理所述連接的表示以獲得所述輸入的分類包括：

將所述連接的表示饋送入第一卷積神經(jīng)網(wǎng)絡(luò)CNN用于詞特征提取和主題特征提取；

采用雙向LSTM對所提取的詞特征和主題特征進(jìn)行順序處理以獲得句子表示；

使用第二CNN進(jìn)行從所述實(shí)體嵌入的知識特征提取；

對所述句子表示應(yīng)用最大池化層以從所述句子表示中選擇最重要特征；

將所選擇的最重要特征與所述知識特征連接；

將連接的特征饋送入全連接層用于獲得緊湊表示；以及

計算預(yù)測層中的交叉熵?fù)p失以對輸入分類進(jìn)行S形預(yù)測。

2.如權(quán)利要求1所述的計算機(jī)實(shí)現(xiàn)的方法，其中，使用包括以下的步驟在主題稀疏自編碼器TSAE處執(zhí)行獲得所述輸入的主題嵌入：

通過進(jìn)行主題建模，在一個或多個主題間生成所述輸入上的主題分布；

基于所述輸入上的主題分布，獲得詞的主題分布；

經(jīng)由編碼器將所述輸入編碼成包括一個或多個詞嵌入的隱藏表示；

將所述詞的主題分布饋送入所述隱藏表示以形成隱藏狀態(tài)上的主題分布；以及

將所述隱藏狀態(tài)上的主題分布封裝到所述TSAE的總體代價函數(shù)中以更新編碼器參數(shù)并獲得所述輸入的主題嵌入；

其中，TSAE將概率主題建模算法結(jié)合到稀疏自編碼器中。

3.如權(quán)利要求2所述的計算機(jī)實(shí)現(xiàn)的方法，其中，所述主題建模包括預(yù)訓(xùn)練的概率主題建模算法。

4.如權(quán)利要求2所述的計算機(jī)實(shí)現(xiàn)的方法，其中，所述TSAE的總體代價函數(shù)包括主題指導(dǎo)項，所述主題指導(dǎo)項基于每個主題的所述隱藏表示的主題稀疏性參數(shù)與隱藏層的平均激活之間的Kullback-Leibler散度之和。

5.如權(quán)利要求2所述的計算機(jī)實(shí)現(xiàn)的方法，其中，所述TSAE是通過使用所述輸入的解碼表示對所述輸入進(jìn)行擬合來應(yīng)用反向傳播而經(jīng)訓(xùn)練的無監(jiān)督前饋神經(jīng)網(wǎng)絡(luò)，所述TSAE的總體代價函數(shù)包括重構(gòu)損失平均值項。

6.如權(quán)利要求1所述的計算機(jī)實(shí)現(xiàn)的方法，其中，計算交叉熵?fù)p失用于輸入分類，并且進(jìn)行反向傳播以訓(xùn)練所述TWEE模型。