[發明專利]一種數據驅動的中文詞語義相似度計算方法

有效

• 申請號: 201410033339.1
• 申請日: 2014-01-23
• 公開（公告）號: CN103761225B
• 公開（公告）日: 2017-03-29
• 發明（設計）人: 馮偉;聶學成;楊昂;黨建武
• 申請（專利權）人: 天津大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 溫國林

1.一種數據驅動的中文詞語義相似度計算方法，其特征在于，所述方法包括以下步驟：

（1）文本故事集合的初始化；

（2）建立相關性關系圖模型；

（3）通過tf-idf可分性值對所述相關性關系圖模型進行修剪；

（4）將修剪后的相關性關系圖模型作為Simrank算法輸入，通過Simrank的迭代計算詞語對之間的語義相似度；

（5）以所述語義相似度為核心定義柔性語義相似度度量模型；

（6）基于所述柔性語義相似度度量模型對中文新聞文本進行協同分割。

2.根據權利要求1所述的一種數據驅動的中文詞語義相似度計算方法，其特征在于，所述文本故事集合的初始化的步驟具體為：

1）輸入帶有故事邊界和故事主題標定的文本集合每個主題由m個故事組成，表示第i個主題的第j個故事，n為主題的數量；

2）提取出文本集合C中所有出現的詞，去掉重復組成有順序的詞語集合V_word，提取文本集合C中所有的字組成字集合V_char，詞語集合V_word與字集合V_char取并集生成詞典V；

3）以詞語集合V_word中的元素為向量的基，對文本集合C中的每個故事建立詞頻向量模型。

3.根據權利要求2所述的一種數據驅動的中文詞語義相似度計算方法，其特征在于，所述詞頻向量模型的步驟具體為：

將不同長度不同內容的故事表現為維度相同的詞頻向量，詞頻向量的每個元素表示詞語集合V_word中的詞語在故事中出現的頻率。

4.根據權利要求2所述的一種數據驅動的中文詞語義相似度計算方法，其特征在于，所述建立相關性關系圖模型的步驟具體為：

1）建立詞對上下文連接圖模型：

2）建立詞語局部連接圖模型；

3）通過所述詞對上下文連接圖模型和所述詞語局部連接圖模型建立相關性關系圖模型；

所述相關性關系圖模型具體為：G=<V,E,W>

節點集合V=V_word∪V_char，邊集合E=E_C∪E_P，邊權重集合W=W_C∪W_P，其中，E_C為詞對上下文連接圖的邊集合；E_P為詞語局部連接圖的邊集合；W_C為詞對上下文連接圖的邊權重集合；W_P為詞語局部連接圖的邊權重集合。