[發(fā)明專利]一種用于英文文本的多標(biāo)簽分類方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110413713.0
• 申請日: 2021-04-16
• 公開（公告）號: CN113220876B
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計）人: 劉方愛;閆瑤瑤;王泓順
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/126;G06F40/205;G06F40/284;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 閆圣娟

1.一種用于英文文本的多標(biāo)簽分類方法，其特征在于，包括：

對待分類的文本語句以及標(biāo)簽集合進(jìn)行詞嵌入向量表示，獲得語句的詞嵌入向量矩陣以及標(biāo)簽嵌入向量；利用預(yù)訓(xùn)練的Glove模型將文本語句中的單詞進(jìn)行向量表示，獲得語句的詞嵌入向量矩陣；利用Glove模型對標(biāo)簽集合中的標(biāo)簽進(jìn)行向量表示，獲得標(biāo)簽嵌入向量；

設(shè)共現(xiàn)矩陣為X，其元素為X_i,j，意義為在整個語料庫中，單詞i和單詞j共同出現(xiàn)在一個窗口中的次數(shù)；利用統(tǒng)計某一個單詞和其他單詞在文章中一共出現(xiàn)的次數(shù)；而某一單詞i和單詞k同時出現(xiàn)次數(shù)占單詞i一共出現(xiàn)次數(shù)的概率，即單詞k出現(xiàn)在單詞i上下文的概率為：利用表示單詞k和單詞i，j之間的相關(guān)性，推廣到詞向量v_i，v_j和v_k之間的相關(guān)性：

構(gòu)造詞向量和共現(xiàn)矩陣之間的近似關(guān)系：

其中和是單詞i和單詞j的詞向量，b_i和是兩個偏差項從而利用二者的差方來構(gòu)造損失函數(shù)：

其中，f(X_ij)是權(quán)重函數(shù)；

利用預(yù)訓(xùn)練的棧式降噪自動編碼器對所述詞嵌入向量矩陣進(jìn)行降維；所述棧式降噪自動編碼器采用兩層SDAE網(wǎng)絡(luò)，其訓(xùn)練過程具體包括：在訓(xùn)練過程中對輸入的詞嵌入矩陣添加噪聲，將上面一層網(wǎng)絡(luò)的輸出作為下面一層的輸入，無監(jiān)督逐層訓(xùn)練；

第一個自動編碼器的輸出可以表示為：

h(y)＝σ(W₁y+b₁)

其中W₁是權(quán)重值，y是被噪聲污染后輸入數(shù)據(jù)或特征，為恢復(fù)后的輸入數(shù)據(jù)或特征，b₁、b₂為偏置值，然后利用選用最小均方差作為代價函數(shù)，且利用梯度下降的方法對權(quán)重值W和偏置值b更新：

(W₁,b₁,b₂)←argmin(J(W₁,b₁,b₂))

第二個DA單元預(yù)訓(xùn)練完畢后，去掉其中的輸出層和相應(yīng)的權(quán)重和偏置，只保留輸入層和隱藏層的W₂和b₂，然后將其堆疊在第一個DA單元上；最后在第二個DA單元的隱藏層上添加一層輸出層，隨機(jī)初始化W₃和b₃，進(jìn)行解碼恢復(fù)；兩層DA單元預(yù)訓(xùn)練結(jié)束后，利用代價函數(shù)進(jìn)行整體的反向調(diào)優(yōu)，對權(quán)重和偏置值進(jìn)行更新，達(dá)到對文本特征提取的目的，同時實現(xiàn)降維；

基于注意力機(jī)制，利用標(biāo)簽嵌入向量對降維后的詞嵌入向量矩陣進(jìn)行加權(quán)；

首先計算標(biāo)簽向量和句子向量的余弦相似性：

其中，V_n是經(jīng)過降維后的句子表示，V₂是標(biāo)簽向量；

第l個短語與所有標(biāo)簽之間的兼容性為：

u_l＝ReLu(G_l-r:l+rW_u1+b_u1)

其中，G_l-r:l+r代表“標(biāo)簽-短語”對之間的兼容性；窗口尺寸r根據(jù)實際情況進(jìn)行適當(dāng)取值，多取幾次，取最優(yōu)結(jié)果；W_u1∈R^2r+1和b_u1∈R^K是要進(jìn)行學(xué)習(xí)的參數(shù)，u_l∈R^K；利用最大池化獲得第l個短語與所有標(biāo)簽之間的最大兼容性m_l＝max-pooling(u_l)，m是長度為L的向量，即表示整個文本序列的向量，那么整個文本序列的注意力得分是：

s＝SoftMax(m)

其中，第l個短語的softmax值為：

然后得到通過標(biāo)簽的attention score加權(quán)詞嵌入得到：

得到進(jìn)一步的文本表示z；

將加權(quán)后的詞嵌入向量矩陣輸入到預(yù)訓(xùn)練的LSTM模型中，最后利用SoftMax函數(shù)輸出文本語句對應(yīng)的分類標(biāo)簽；

將文本表示z輸入到長短期記憶網(wǎng)絡(luò)中，進(jìn)行進(jìn)一步特征提取和擬合；LSTM在網(wǎng)絡(luò)狀態(tài)內(nèi)引入了記憶細(xì)胞狀態(tài)C，LSTM通過遺忘門會除去一些不重要的信息，遺忘門通過先前的隱藏狀態(tài)h_t-1和當(dāng)前的輸入向量zt,計算出一個取值在0～1之間的矩陣向量f_t；根據(jù)當(dāng)前的輸入變量z_t和先前的隱藏狀態(tài)h_t-1,細(xì)胞狀態(tài)C剔除不重要的信息添加新的更重要的信息，實現(xiàn)細(xì)胞狀態(tài)的更新；最后，通過tanh層對最新細(xì)胞狀態(tài)的處理，并與輸出門的輸出向量o_t相乘，可以得到最后的隱藏狀態(tài)h_t：

o_t＝σ(W_o·[h_t-1,z_t])+b_o

h_t＝o_t*tanh(C_t)

其中，W_o是系數(shù)矩陣，b_o是偏差向量，z_t為t時刻輸入到長短期記憶網(wǎng)絡(luò)中的文本表示；LSTM的輸出單元包含的全連接層數(shù)目和標(biāo)簽的數(shù)量一致；文本向量經(jīng)過LSTM后，輸入到全連接層進(jìn)行多標(biāo)簽分類，激活函數(shù)選用softmax，主要是計算樣本x_i的標(biāo)簽為c_j的概率；最后模型輸出為