[發明專利]中文字符和拼音相結合的詞向量表示方法、裝置、介質

在審

• 申請號: 202011356716.7
• 申請日: 2020-11-27
• 公開（公告）號: CN112464655A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 姚金良;胡創;王榮波;諶志群;黃孝喜
• 申請（專利權）人: 紹興達道生涯教育信息咨詢有限公司;杭州電子科技大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/216;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種中文字符和拼音相結合的詞向量表示方法，其特征在于，步驟如下：

S11：使用拼音轉換工具將待轉換為詞向量表示的中文文本中每個中文字符轉化為拼音；

S12：針對中文文本中每個中文字符，利用預訓練的中文字符詞嵌入模型，得到中文字符的詞向量表示x₁；

S13：針對中文文本中每個中文字符的拼音，利用預訓練的拼音詞嵌入模型，得到拼音的詞向量表示x₂；

S14：針對中文文本中每個中文字符，融合其對應的中文字符的詞向量表示和拼音的詞向量表示，得到字符融合表示向量x＝[x₁,x₂]。

2.如權利要求1所述中文字符和拼音相結合的詞向量表示方法，其特征在于，所述中文字符詞嵌入模型和拼音詞嵌入模型各自獨立進行訓練，使其能分別將中文字符和拼音轉換為詞向量表示。

3.如權利要求1所述中文字符和拼音相結合的詞向量表示方法，其特征在于，所述中文字符詞嵌入模型和拼音詞嵌入模型為基于Skip-Gram的word2vec模型，模型輸入數據預先轉換為one-hot向量表示。

4.如權利要求1所述中文字符和拼音相結合的詞向量表示方法，其特征在于，每個中文字符可預先轉換為所述字符融合表示向量，并將中文字符和字符融合表示向量關聯保存于字典中；待轉換為詞向量表示的中文字符，通過查詢字典的方法轉換為字符融合表示向量。

5.一種基于如權利要求1～4任一所述詞向量表示方法的不良信息文本分類方法，其特征在于，步驟如下：

S21：針對包含不良信息文本和非不良信息文本兩類樣本的訓練數據，利用所述詞向量表示方法將每個樣本轉換為字符融合表示向量；

S22：利用訓練數據對文本分類模型進行訓練，使其能準確輸出樣本屬于不良信息文本或者非不良信息文本的二分類標簽；

S23：針對待分類的目標信息文本，利用所述詞向量表示方法將其轉換為字符融合表示向量，并輸入訓練后的文本分類模型中，輸出其分類結果。

6.如權利要求5所述的不良信息文本分類方法，其特征在于，所述的文本分類模型為TextCNN、TextRNN、TextRNN_Att、FastText、Transformer或DPCNN模型。

7.一種中文字符和拼音相結合的詞向量表示裝置，其特征在于，包括存儲器和處理器；

所述存儲器，用于存儲計算機程序；

所述處理器，用于當執行所述計算機程序時，實現如權利要求1～4任一項所述的中文字符和拼音相結合的詞向量表示方法。

8.一種計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求1～4任一項所述的中文字符和拼音相結合的詞向量表示方法。

9.一種不良信息文本分類裝置，其特征在于，包括存儲器和處理器；

所述存儲器，用于存儲計算機程序；

所述處理器，用于當執行所述計算機程序時，實現如權利要求5或6所述的不良信息文本分類方法。

10.一種計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求5或6所述的不良信息文本分類方法。