[發(fā)明專利]一種文本信息處理方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201711159103.2
• 申請(qǐng)日: 2017-11-20
• 公開(kāi)（公告）號(hào): CN108304442B
• 公開(kāi)（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 彭思翔;錢淑釵
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/216;G06F40/289
• 代理公司: 深圳翼盛智成知識(shí)產(chǎn)權(quán)事務(wù)所(普通合伙) 44300
• 代理人: 黃威

1.一種文本信息處理方法，其特征在于，包括：

接收待識(shí)別的文本信息；

根據(jù)詞語(yǔ)集與參數(shù)集之間的映射關(guān)系確定切詞規(guī)則，按照所述切詞規(guī)則對(duì)所述文本信息進(jìn)行切詞處理，生成至少一個(gè)詞語(yǔ)；

根據(jù)預(yù)置的訓(xùn)練模型中詞語(yǔ)與參數(shù)之間的映射關(guān)系獲取至少一個(gè)詞語(yǔ)對(duì)應(yīng)的參數(shù)，其中每個(gè)參數(shù)標(biāo)識(shí)一個(gè)詞語(yǔ)；

根據(jù)所述參數(shù)及所述訓(xùn)練模型確定所述文本信息的特征信息，所述訓(xùn)練模型由至少一個(gè)類型的模板化文本訓(xùn)練而成，所述模板化文本可以為包括變量及模板部分，所述特征信息包括所述文本信息在文本聚類列表中所屬的類別、所述類別對(duì)應(yīng)的文本數(shù)量、以及所述文本信息與所述文本聚類列表中訓(xùn)練樣本之間相似度；

根據(jù)所述特征信息識(shí)別所述文本信息所屬的模板化文本的類型。

2.根據(jù)權(quán)利要求1所述的文本信息處理方法，其特征在于，所述根據(jù)所述參數(shù)及預(yù)置的訓(xùn)練模型確定所述文本信息的特征信息的步驟之前，所述方法還包括：

獲取所述模板化文本對(duì)應(yīng)的多條訓(xùn)練樣本；

按照所述切詞規(guī)則將每條訓(xùn)練樣本分別進(jìn)行切詞處理，生成包含多個(gè)詞語(yǔ)的詞語(yǔ)集；

對(duì)所述詞語(yǔ)集進(jìn)行預(yù)處理，生成參數(shù)集，所述參數(shù)集中的每個(gè)參數(shù)用于標(biāo)識(shí)所述詞語(yǔ)集中的每個(gè)詞語(yǔ)；

根據(jù)所述參數(shù)集對(duì)所述多條訓(xùn)練樣本進(jìn)行聚類處理，生成文本聚類列表；

根據(jù)所述文本聚類列表生成所述訓(xùn)練模型。

3.根據(jù)權(quán)利要求2所述的文本信息處理方法，其特征在于，所述對(duì)所述詞語(yǔ)集進(jìn)行預(yù)處理，生成參數(shù)集的步驟包括：

獲取所述詞語(yǔ)集中每個(gè)詞語(yǔ)在所述每條訓(xùn)練樣本中存在的頻率，以及包含所述詞語(yǔ)的目標(biāo)訓(xùn)練樣本在所述多條訓(xùn)練樣本中的逆向文本頻率；

根據(jù)所述頻率及所述逆向文本頻率生成所述每個(gè)詞語(yǔ)對(duì)應(yīng)的目標(biāo)參數(shù)；

根據(jù)所述每個(gè)詞語(yǔ)對(duì)應(yīng)的所述目標(biāo)參數(shù)生成所述參數(shù)集。

4.根據(jù)權(quán)利要求2所述的文本信息處理方法，其特征在于，所述對(duì)所述詞語(yǔ)集進(jìn)行預(yù)處理，生成參數(shù)集的步驟之后，所述方法還包括：

對(duì)所述詞語(yǔ)集與所述參數(shù)集之間的映射關(guān)系進(jìn)行變換處理，生成所述映射關(guān)系在預(yù)設(shè)空間上的投影關(guān)系；

所述根據(jù)所述文本聚類列表生成所述訓(xùn)練模型的步驟包括：

根據(jù)所述映射關(guān)系、所述投影關(guān)系及所述文本聚類列表生成所述訓(xùn)練模型。

5.根據(jù)權(quán)利要求4所述的文本信息處理方法，其特征在于，所述根據(jù)所述參數(shù)及預(yù)置的訓(xùn)練模型確定所述文本信息的特征信息的步驟包括：

根據(jù)所述參數(shù)、所述訓(xùn)練模型中的投影關(guān)系及所述訓(xùn)練模型中的文本聚類列表確定所述文本信息的特征信息。

6.根據(jù)權(quán)利要求5所述的文本信息處理方法，其特征在于，所述根據(jù)所述參數(shù)、所述訓(xùn)練模型中的投影關(guān)系及所述訓(xùn)練模型中的文本聚類列表確定所述文本信息的特征信息的步驟包括：

根據(jù)所述投影關(guān)系將所述參數(shù)在所述預(yù)設(shè)空間上進(jìn)行投影處理，生成投影參數(shù)；

獲取所述投影參數(shù)與所述文本聚類列表所在聚類區(qū)域的質(zhì)心之間的最短距離；

根據(jù)所述最短距離確定所述文本信息在所述文本聚類列表中所屬的類別、所述類別對(duì)應(yīng)的文本數(shù)量、以及所述文本信息與所述文本聚類列表中訓(xùn)練樣本之間相似度。

7.根據(jù)權(quán)利要求4至6中任一項(xiàng)所述的文本信息處理方法，其特征在于，所述對(duì)映射關(guān)系進(jìn)行變換處理，生成所述映射關(guān)系在預(yù)設(shè)空間上的投影關(guān)系的步驟包括：

根據(jù)所述映射關(guān)系生成樣本矩陣，其中所述樣本矩陣的每行向量為每條訓(xùn)練樣本切詞處理后得到的詞語(yǔ)對(duì)應(yīng)的參數(shù)；

獲取所述樣本矩陣的協(xié)方差矩陣，以及獲取所述樣本矩陣的特征值，根據(jù)所述特征值生成對(duì)角矩陣；

根據(jù)所述協(xié)方差矩陣及所述對(duì)角矩陣生成轉(zhuǎn)換矩陣，將所述轉(zhuǎn)換矩陣設(shè)定為所述投影關(guān)系。