[發(fā)明專利]文本向量表示方法及裝置

有效

• 申請?zhí)枺?/td>: 201510860394.2
• 申請日: 2015-11-30
• 公開（公告）號: CN106815244B
• 公開（公告）日: 2020-02-07
• 發(fā)明（設(shè)計）人: 祁國晟;何鑫
• 申請（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F40/30
• 代理公司: 11240 北京康信知識產(chǎn)權(quán)代理有限責任公司
• 代理人: 韓建偉;李志剛

1.一種文本向量表示方法，其特征在于，包括：

獲取測試文本；

對所述測試文本進行特征化處理，得到多個文本特征表示的目標文本；

利用預(yù)存的特征主題關(guān)系矩陣處理所述目標文本，得到所述目標文本的主題分布，其中，所述主題分布包括所述目標文本的目標主題與所述目標主題對應(yīng)的比例；

利用預(yù)存的特征嵌入向量集合對描述所述目標主題的文本特征進行擴展，得到目標主題特征集合，并根據(jù)所述目標主題特征集合得到表示所述目標主題的向量；以及

對所述主題分布和表示所述目標主題的向量進行計算處理，得到表示所述測試文本的向量；

其中，對所述主題分布和表示所述目標主題的向量進行計算處理，得到表示所述測試文本的向量包括：

分別將每個目標主題對應(yīng)的比例與所述目標主題的向量進行相乘；以及

將相乘后結(jié)果進行加權(quán)求和，得到表示所述測試文本的向量；

其中，利用預(yù)存的特征嵌入向量集合對描述所述目標主題的文本特征進行擴展，得到目標主題特征集合包括：

基于訓練過程中得到的特征嵌入向量模型得到訓練過程中每一個特征的n維特征嵌入向量，根據(jù)n維空間中特征之間的距離對所述目標主題的文本特征進行擴展，得到目標主題特征集合。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在獲取所述測試文本之前，所述方法還包括：

獲取訓練語料，其中，所述訓練語料為用于訓練的語料；

對所述訓練語料進行特征化處理，得到多個語料特征；

分別訓練每個語料特征的特征嵌入向量，得到特征嵌入向量集合；

獲取所述訓練語料中的多個主題；

分別訓練每個主題與每個語料特征的關(guān)系，得到特征主題關(guān)系矩陣；以及

存儲所述特征嵌入向量集合和所述特征主題關(guān)系矩陣。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述特征化處理包括分詞處理，對所述訓練語料進行特征化處理，得到多個語料特征包括：對所述訓練語料進行分詞處理，得到多個語料切分結(jié)果，

對所述測試文本進行特征化處理，得到多個文本特征表示的目標文本包括：對所述測試文本進行分詞處理，得到多個文本切分結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，

在對所述訓練語料進行分詞處理，得到多個語料切分結(jié)果之后，所述方法還包括：分別對每個語料切分結(jié)果進行id化處理，得到id化處理后的第一數(shù)據(jù)集合，其中，所述id化處理是指將每個語料切分結(jié)果對應(yīng)一個id；以及通過所述第一數(shù)據(jù)集合表示所述多個語料特征，

在對所述測試文本進行分詞處理，得到多個文本切分結(jié)果之后，所述方法還包括：分別對每個文本切分結(jié)果進行id化處理，得到id化處理后的第二數(shù)據(jù)集合；以及通過所述第二數(shù)據(jù)集合表示所述目標文本。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，分別訓練每個語料特征的特征嵌入向量為采用Word2vec算法訓練每個語料特征的特征嵌入向量。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，分別訓練每個主題與每個語料特征的關(guān)系為采用LDA算法訓練每個主題與每個語料特征的關(guān)系。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，利用預(yù)存的特征主題關(guān)系矩陣處理所述目標文本，得到所述目標文本的主題分布包括：

將所述目標文本通過所述預(yù)存的特征主題關(guān)系矩陣按照預(yù)設(shè)變換方式進行變換，得到所述目標文本的主題分布，其中，所述預(yù)設(shè)變換方式中采用的算法為所述LDA算法。