[發(fā)明專利]文本分類模型的訓練方法、系統(tǒng)及相關設備

在審

• 申請?zhí)枺?/td>: 202011035101.4
• 申請日: 2020-09-27
• 公開（公告）號: CN112256867A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設計）人: 饒思維;張鵬;馬鑫典;張靜;田光見
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/04
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

1.一種文本分類模型的訓練方法，其特征在于，所述方法由計算機裝置執(zhí)行，所述方法包括：

采用第一超參數(shù)和多個樣本詞向量序列對張量網(wǎng)絡進行第一輪迭代訓練，以得到目標糾纏熵，其中，所述目標糾纏熵的值為在進行所述第一輪迭代訓練過程中得到的第一糾纏熵收斂時的值；

根據(jù)所述目標糾纏熵計算得到第二超參數(shù)；

采用所述第二超參數(shù)和所述多個樣本詞向量序列對所述張量網(wǎng)絡進行第二輪迭代訓練，得到所述文本分類模型，其中，所述文本分類模型為在進行所述第二輪迭代訓練過程中計算得到的第二糾纏熵收斂時的張量網(wǎng)絡模型。

2.根據(jù)權利要求1所述的方法，其特征在于，所述張量網(wǎng)絡包括判別式張量網(wǎng)絡和r個生成式張量網(wǎng)絡，所述r個生成式張量網(wǎng)絡的輸出數(shù)據(jù)為所述判別式張量網(wǎng)絡的輸入數(shù)據(jù)；

其中，所述r為正整數(shù)。

3.根據(jù)權利要求2所述的方法，其特征在于，所述迭代訓練包括：

對所述多個樣本詞向量序列中的每個樣本詞向量序列執(zhí)行以下操作，得到多個第一預測標簽，其中，所述多個樣本詞向量序列與所述多個第一預測標簽相對應：

采用張量網(wǎng)絡模型M_t中的r個生成式張量網(wǎng)絡對第一目標詞向量序列中的每個第一詞向量進行降維處理，得到第二目標詞向量序列，其中，所述第一目標詞向量序列為所述多個樣本詞向量序列中的任意一個，t為迭代次數(shù)；

將所述第二目標詞向量序列輸入所述張量網(wǎng)絡模型M_t中的判別式張量網(wǎng)絡，得到目標文本的第一預測標簽，其中，所述目標文本為與所述第一目標詞向量序列對應的文本；

根據(jù)所述多個第一預測標簽和所述多個樣本詞向量序列對應的真實標簽計算損失值L_t；

根據(jù)所述損失值L_t調(diào)整所述張量網(wǎng)絡模型M_t中的參數(shù)，以得到張量網(wǎng)絡模型M_t+1；并根據(jù)所述張量網(wǎng)絡模型M_t+1中的參數(shù)計算得到第三糾纏熵；

當所述第三糾纏熵不收斂時，令t＝t+1，并重復執(zhí)行上述步驟，直至所述第三糾纏熵收斂；當所述第三糾纏熵收斂時，若所述迭代訓練為所述第一輪迭代訓練，則所述目標糾纏熵為所述第三糾纏熵；若所述迭代訓練為所述第二輪迭代訓練，則所述文本分類模型為所述張量網(wǎng)絡模型M_t+1；

其中，當t＝1時，所述張量網(wǎng)絡模型M_t為初始張量網(wǎng)絡模型。

4.根據(jù)權利要求3所述的方法，其特征在于，所述第一目標詞向量序列包括n個第一詞向量，其中，所述n為正整數(shù)，所述采用張量網(wǎng)絡模型M_t中的r個生成式張量網(wǎng)絡對第一目標詞向量序列中的每個第一詞向量進行降維處理，得到第二目標詞向量序列，包括：

對所述n個第一詞向量分別進行特征映射，得到n個第一張量，其中，所述第一張量為所述第一詞向量的張量表示；

采用所述張量網(wǎng)絡模型M_t中的r個生成式張量網(wǎng)絡對所述n個第一張量中的每個第一張量進行降維處理，得到所述第二目標詞向量序列。

5.根據(jù)權利要求4所述的方法，其特征在于，所述張量網(wǎng)絡模型M_t中的r個生成式張量網(wǎng)絡與r個第一權重參數(shù)相對應，所述采用所述張量網(wǎng)絡模型M_t中的r個生成式張量網(wǎng)絡對所述n個第一張量中的每個第一張量進行降維處理，得到所述第二目標詞向量序列，包括：

對所述n個第一張量中的每個第一張量執(zhí)行以下操作，得到n個第二詞向量，其中，所述n個第二詞向量與所述n個第一張量相對應：

將所述r個第一權重參數(shù)分別與第二張量進行張量縮并運算，得到r個張量縮并運算結果，其中，所述第二張量為所述n個第一張量中的任意一個第一張量；

根據(jù)所述r個張量縮并運算結果得到r個目標概率值，其中，所述r個目標概率值的和為1；

根據(jù)所述r個目標概率值得到第二詞向量；

所述n個第二詞向量構成所述第二目標詞向量序列。