[發明專利]一種基于漢字屬性向量表示的文本相似性計算方法及系統

有效

• 申請號: 201710083030.7
• 申請日: 2017-02-16
• 公開（公告）號: CN106874258B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 李平;朱婷婷;陳凱琪;胡棟;陳雁;朱鵬軍;彭欣宇;代臻;文敏;汪麗娟
• 申請（專利權）人: 西南石油大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/194
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了一種基于漢字屬性向量表示的文本相似性計算方法及系統,所述的方法包括以下步驟:S1.基于漢字屬性的向量表示構建文本相似性計算模型；S2.基于帶標注的短文本集，對構建的相似性計算模型進行訓練以獲取模型的參數，得到成熟的文本相似性計算模型；S3.將待計算相似度的短文本消息輸入成熟的文本相似性計算模型中，得到短文本對之間的相似性，并結果并反饋給用戶。本發明提供一種基于漢字屬性向量表示的文本相似性計算方法及系統，能夠得到準確有效的短文本分析結果，有利于從海量短文本消息中挖掘出有價值的信息，方便于用戶使用。

技術領域

本發明涉及中文文本挖掘技術領域，尤其涉及一種基于漢字屬性向量表示的文本相似性計算方法及系統。

背景技術

互聯網尤其是移動互聯網的快速發展使得社交媒體成為了人們傳遞信息的主要平臺。每天在社交媒體上都產生著難以計數的信息交互，其中文本是這種信息交互的主要載體，此外互聯網上產生的信息大多以短文本形式存在。

文本相似度計算是中文文本挖掘領域中的關鍵問題，其應用場景非常廣泛；如在推薦系統中，基于內容相似性的推薦；論文文獻查重以及文本聚類、分類等；在做文本相似度計算之前需要對文本進行向量化表示，傳統的處理過程中常基于向量空間模型(VectorSpace Model，VSM)，然而此種表示方法不僅維度較高空間開銷大而且無法表征語義信息；此外，也有基于奇異值分解來獲取詞的語義信息的方法，可是其計算復雜度偏高。

而當下對于短文本相似性的計算方法中：傳統的TF-IDF(詞頻-逆文檔頻率)及其他相關向量化文本的方法依賴于詞語的共現，但語義相關與否并非與是否有共同的詞語一定相關；基于主題模型(Latent Dirichlet Allocation，LDA)的方法，由于短文本的語義的稀疏性問題，也不適用。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于漢字屬性向量表示的文本相似性計算方法及系統，能夠得到準確有效的短文本分析結果，有利于從海量短文本消息中挖掘出有價值的信息，方便于用戶使用。

本發明的目的是通過以下技術方案來實現的：一種基于漢字屬性向量表示的文本相似性計算方法，包括以下步驟:

S1.基于漢字屬性的向量表示構建文本相似性計算模型；

S2.基于帶標注的短文本集，對構建的相似性計算模型進行訓練以獲取模型的參數，得到成熟的文本相似性計算模型；

S3.將待計算相似度的短文本消息輸入成熟的文本相似性計算模型中，得到短文本對之間的相似性，并結果并反饋給用戶。

步驟S1中所述文本相似性計算模型的數據處理方式包括以下子步驟：

S11.基于漢字屬性將短文本消息向量化；

S12.提取向量化后短文本消息的特征語義向量；

S13.依據短文本的語義特征向量，計算短文本消息的相似性。

所述的步驟S11包括以下子步驟：

S111.對于短文本消息中的每個字，基于漢字筆畫庫和拼音庫構建其字向量表示，獲得該短文本消息中的各個字向量c_i，其中c_i表示該短文本中第i個字的字向量；

S112.將構建的字向量按其在短文本中出現的順序進行拼接獲得該短文本消息的向量表示。

所述的字向量c_i的維度為32位,1-5位分別為該字中包含的橫、豎、撇、捺、折的個數，6-31位為漢字對應的26個拼音，第32位為漢字拼音的聲調。

所述的步驟S12包括以下子步驟：

S121.設置滑動窗口d，將滑動窗口內字的字向量按順序拼接形成上下文拼接向量：