[發明專利]分類模型的訓練方法、分類方法、裝置、計算機存儲介質

有效

• 申請號: 201811244834.1
• 申請日: 2018-10-24
• 公開（公告）號: CN111090753B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 靳丁南;權圣
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35;G06N3/04
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種分類模型的訓練方法，其特征在于，包括：

從網絡或歷史記錄隨機獲取到設定數量的第一無標注語料；

對所述第一無標注語料進行處理，得到所述第一無標注語料的詞向量；

通過所述第一無標注語料的詞向量對預設LSTM語言模型進行訓練，建立第一模型；所述第一模型依次包括詞嵌入層、LSTM語言模型層；

通過所述分類模型的標注語料對第二模型進行訓練，得到所述分類模型；其中，所述第二模型是通過在所述第一模型添加分類輸出模型結構而得到的，所述分類輸出模型結構包括特征拼接層、全連接網絡層以及輸出層；

所述通過所述分類模型的標注語料對第二模型進行訓練，得到所述分類模型包括：

將所述分類模型的標注語料輸入到所述第一模型進行處理，得到所述分類模型的標注語料的詞向量以及所述詞向量的輸出向量；

將所述詞向量及其輸出向量進行拼接，得到所述分類模型的標注語料對應句子的特征向量；

通過所述句子的特征向量對所述分類模型的標注語料進行分類預測，得到預測結果；

基于所述預測結果對所述第二模型的模型參數進行調整，獲得所述分類模型。

2.根據權利要求1所述的訓練方法，其特征在于，

所述將所述分類模型的標注語料輸入到所述第一模型進行處理，得到所述分類模型的標注語料的詞向量以及所述詞向量的輸出向量的步驟包括：

將所述分類模型的標注語料輸入到所述詞嵌入層進行處理，得到所述分類模型的標注語料的詞向量；

通過所述LSTM語言模型層對所述詞向量進行識別處理，得到所述詞向量的輸出向量；

所述將所述詞向量及其輸出向量進行拼接，得到所述分類模型的標注語料對應句子的特征向量的步驟包括：

將所述詞向量的輸出向量以及所述詞向量輸入到所述特征拼接層進行拼接，得到所述分類模型的標注語料對應句子的特征向量；

所述通過所述句子的特征向量對所述分類模型的標注語料進行分類預測，得到預測結果的步驟具體包括：

將所述句子的特征向量輸入到所述全連接神經網絡進行預測結果的查詢，并通過輸出層輸出預測結果。

3.根據權利要求2所述的訓練方法，其特征在于，所述將所述詞向量及其輸出向量進行拼接，得到所述分類模型的標注語料對應句子的特征向量的步驟具體包括：

將所述LSTM語言模型層全部隱藏節點的輸出向量的平均值，與所述詞向量的平均值進行收尾拼接，得到所述分類模型的標注語料對應句子的特征向量。

4.根據權利要求2所述的訓練方法，其特征在于，所述第一模型還包括輸出層，

所述通過所述第一無標注語料的詞向量對預設LSTM語言模型進行訓練，建立第一模型的步驟之后，所述通過所述分類模型的標注語料對第二模型進行訓練，得到所述分類模型的步驟之前還包括：

通過所述分類模型的無標注語料對所述第一模型進行訓練，得到訓練后的第一模型；所述第二模型是通過在所述訓練后的第一模型上添加分類輸出模型結構而得到的。

5.一種基于分類模型的分類方法，其特征在于，所述分類模型是在經訓練好的第一模型上添加分類輸出模型結構后進行再訓練得到的；

所述分類方法包括：

接收待分類的語料；

將所述語料輸入到所述分類模型中，通過所述分類模型將所述語料進行處理，得到所述語料的特征向量，并基于所述特征向量從全連接神經網絡中對分類預測結果進行查詢；

輸出所述分類預測結果。

6.根據權利要求5所述的分類方法，其特征在于，所述分類模型是通過權利要求1～4任一項所述的分類模型的訓練方法訓練而得到的。