[發明專利]文本分類模型的訓練方法和裝置

在審

• 申請號: 201811618436.1
• 申請日: 2018-12-28
• 公開（公告）號: CN110046340A
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 曹紹升;李懷松;周俊
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06K9/62
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種文本分類模型的訓練方法，包括：

對用于確定相似詞的文本進行分詞處理，將每個文本劃分為一個或多個詞語；

匯總各文本，并提取匯總結果中滿足預定條件的詞語作為備選詞；

獲取初始特征詞；

針對每個初始特征詞，計算各備選詞與所述初始特征詞的相似度；

將相似度滿足相似度條件的備選詞確定為所述初始特征詞的相似詞；

將所述初始特征詞和所述初始特征詞的相似詞作為訓練文本的特征詞，對文本分類模型進行訓練。

2.根據權利要求1所述的方法，所述計算各備選詞與所述初始特征詞的相似度，包括：

采用cw2vec算法為各備選詞和初始特征詞生成對應的詞向量；

計算所述備選詞對應的詞向量和所述初始特征詞對應的詞向量之間的向量距離，作為所述備選詞和所述初始特征詞的相似度。

3.根據權利要求1所述的方法，所述計算各備選詞與所述初始特征詞的相似度，包括：

采用cw2vec算法為各備選詞和初始特征詞生成對應的N元筆畫向量集合；

計算所述備選詞對應的N元筆畫向量集合和所述初始特征詞對應的N元筆畫向量集合之間的最大相似度，作為所述備選詞和所述初始特征詞的相似度。

4.根據權利要求1所述的方法，所述對文本分類模型進行訓練，包括：

采用半監督學習算法對文本分類模型進行訓練。

5.一種反洗錢場景中文本分類模型的訓練方法，包括：

對用于確定相似詞的文本進行分詞處理，將每個文本劃分為一個或多個詞語；

匯總各文本，并提取匯總結果中滿足預定條件的詞語作為備選詞；

獲取與反洗錢相關的初始特征詞；

針對每個初始特征詞，計算各備選詞與所述初始特征詞的相似度；

將相似度滿足相似度條件的備選詞確定為所述初始特征詞的相似詞；

將所述初始特征詞和所述初始特征詞的相似詞作為訓練文本的特征詞，采用半監督學習算法對文本分類模型進行訓練。

6.一種文本分類模型的訓練裝置，包括：

文本分詞單元，對用于確定相似詞的文本進行分詞處理，將每個文本劃分為一個或多個詞語；

備選提取單元，匯總各文本，并提取匯總結果中滿足預定條件的詞語作為備選詞；

初始獲取單元，獲取初始特征詞；

相似確定單元，針對每個初始特征詞，計算各備選詞與所述初始特征詞的相似度；將相似度滿足相似度條件的備選詞確定為所述初始特征詞的相似詞；

模型訓練單元，將所述初始特征詞和所述初始特征詞的相似詞作為訓練文本的特征詞，對文本分類模型進行訓練。

7.根據權利要求6所述的裝置，所述計算各備選詞與所述初始特征詞的相似度，包括：

采用cw2vec算法為各備選詞和初始特征詞生成對應的詞向量；

計算所述備選詞對應的詞向量和所述初始特征詞對應的詞向量之間的向量距離，作為所述備選詞和所述初始特征詞的相似度。

8.根據權利要求6所述的裝置，所述計算各備選詞與所述初始特征詞的相似度，包括：

采用cw2vec算法為各備選詞和初始特征詞生成對應的N元筆畫向量集合；

計算所述備選詞對應的N元筆畫向量集合和所述初始特征詞對應的N元筆畫向量集合之間的最大相似度，作為所述備選詞和所述初始特征詞的相似度。

9.根據權利要求6所述的裝置，

所述模型訓練單元，采用半監督學習算法對文本分類模型進行訓練。

10.一種文本分類模型的訓練裝置，包括：

處理器；

用于存儲機器可執行指令的存儲器；

其中，通過讀取并執行所述存儲器存儲的與文本分類模型的訓練邏輯對應的機器可執行指令，所述處理器被促使：

對用于確定相似詞的文本進行分詞處理，將每個文本劃分為一個或多個詞語；

匯總各文本，并提取匯總結果中滿足預定條件的詞語作為備選詞；

獲取初始特征詞；

針對每個初始特征詞，計算各備選詞與所述初始特征詞的相似度；

將相似度滿足相似度條件的備選詞確定為所述初始特征詞的相似詞；

將所述初始特征詞和所述初始特征詞的相似詞作為訓練文本的特征詞，對文本分類模型進行訓練。