[發明專利]一種基于漢字屬性向量表示的文本相似性計算方法及系統

有效

• 申請號: 201710083030.7
• 申請日: 2017-02-16
• 公開（公告）號: CN106874258B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 李平;朱婷婷;陳凱琪;胡棟;陳雁;朱鵬軍;彭欣宇;代臻;文敏;汪麗娟
• 申請（專利權）人: 西南石油大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/194
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

1.一種基于漢字屬性向量表示的文本相似性計算方法，其特征在于：包括以下步驟:

S1.基于漢字屬性的向量表示構建文本相似性計算模型；

步驟S1中所述文本相似性計算模型的數據處理方式包括以下子步驟：

S11.基于漢字屬性將短文本消息向量化；

S12.提取向量化后短文本消息的特征語義向量；

S13.依據短文本的語義特征向量，計算短文本消息的相似性；

所述的步驟S11包括以下子步驟：

S111.對于短文本消息中的每個字，基于漢字筆畫庫和拼音庫構建其字向量表示，獲得該短文本消息中的各個字向量ci，其中ci表示該短文本中第i個字的字向量；

S112.將構建的字向量按其在短文本中出現的順序進行拼接獲得該短文本消息的向量表示；

所述的字向量ci的維度為32位,1-5位分別為該字中包含的橫、豎、撇、捺、折的個數，6-31位為漢字對應的26個拼音，第32位為漢字拼音的聲調；

所述的步驟S12包括以下子步驟：

S121.設置滑動窗口d，將滑動窗口內字的字向量按順序拼接形成上下文拼接向量：

第i個滑動窗口內的字向量由第i-d,i-d+1,...i,i+1,i+2,...i+d個字的字向量拼接而成，記為Li：

S122.定義卷積矩陣為WL，用卷積矩陣WL和激活函數tanh作用于上下文拼接向量Li，獲得局部特征向量Fi：

Fi＝tanh(WL*Li)；

S123.將獲得的所有局部特征向量Fi每一個維度的最大值提取出來形成表征向量R；

S124.定義語義矩陣為WS，將語義矩陣WS和激活函數tanh作用于表征向量R獲得最終的語義特征向量y：

y＝tanh(WS*R)；

所述的步驟S13包括：基于距離度量方法func計算兩個短文本消息構成的文本對之間語義特征向量(y1,y2)的相似性:

式中，y1表示文本對中第一個短文本消息的語義特征向量，y2表示文本對中第二個短文本消息的語義特征向量；

S2.基于帶標注的短文本集，對構建的相似性計算模型進行訓練以獲取模型的參數，得到成熟的文本相似性計算模型；

S3.將待計算相似度的短文本消息輸入成熟的文本相似性計算模型中，得到短文本對之間的相似性，并將結果反饋給用戶。

2.根據權利要求1所述的一種基于漢字屬性向量表示的文本相似性計算方法，其特征在于：所述的步驟S2包括以下子步驟：

S21.獲取帶有相似性標注的短文本集；

S22.利用短文本相似性計算模型，將短文本集中的短文本消息表征為語義特征向量；

S23.利用短文本相似性計算模型，計算短文本對之間的語義相似性；

S24.根據短文本集中的標注與計算得到的短文本對之間的語義相似性,構建最小化誤差損失函數作為目標，并利用隨機梯度下降訓練獲得相似性計算模型中的卷積矩陣參數WL和語義矩陣參數WS，獲得成熟的相似性計算模型。

3.根據權利要求1所述的一種基于漢字屬性向量表示的文本相似性計算方法，其特征在于：所述步驟S3包括以下子步驟：

S31.將至少兩個待計算的相似度的短文本消息輸入成熟的相似性計算模型中；所述成熟的相似性計算模型，即訓練得到的已知卷積矩陣參數WL和語義矩陣參數WS的計算模型；

S32.利用成熟的相似性計算模型，將各個輸入短文本消息表征為語義特征向量；

S33.利用成熟的相似性計算模型，計算各個短文本消息兩兩之間的語義相似性；

S34.將計算得到的結果反饋給用戶。