[發明專利]一種基于改進WMD算法的實體對齊方法

有效

• 申請號: 201910027346.3
• 申請日: 2019-01-11
• 公開（公告）號: CN109902144B
• 公開（公告）日: 2020-01-31
• 發明（設計）人: 姜明;聞濤;張旻;湯景凡;滕海濱;何杰成
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/36
• 代理公司: 33240 杭州君度專利代理事務所(特殊普通合伙)
• 代理人: 朱月芬

1.一種基于改進WMD算法的實體對齊方法，其特征在于包括如下步驟：

步驟(1)計算百科實體之間的屬性相似度；

步驟(2)計算百科實體間的摘要文本相似度；

步驟(3)通過屬性相似度和摘要文本相似度綜合判斷實體是否能夠消岐，

步驟1所述的計算百科實體之間的屬性相似度，過程如下：

1.1統一屬性的名稱，采用人工構建屬性映射規則的方法，通過人工對比校驗，構建多個類別的屬性名映射表，進而規范屬性名稱不一致的情況；

1.2統一屬性的屬性值，通過統計分析，建立屬性值歸一化規則，對屬性值進行歸一化；

1.3對于實體E_a，E_b，其屬性名稱集合分別為：Property_a＝{p_a1，p_a2，...，p_am}，Property_b＝{p_b1，p_b2，...，p_bn}；屬性值集合分別為Value_a＝{v_a1，v_a2，...，v_am}，Value_b＝{v_b1，v_b2，...，v_bn}；

1.4對于公有屬性P_i∈CommonPropertty(E_a，E_b)，對應著相同屬性名稱的P_am∈Property_a，P_bn∈Property_b；其中P_am的屬性值為V_am，P_bn的屬性值為V_bn，則百科實體的屬性相似度計算公式為：

其中：

T＝|Proprety_a∩Proprety_b|；

T為公共屬性交集中的元素個數，ED(V_ax，V_by)為實體屬性值的編輯距離，max{len(V_ax)，len(V_by)}為屬性值的最大字符長度，

步驟2所述的計算百科實體之間摘要文本相似度的步驟如下：

2.1采用TextRank算法對百科實體的摘要文本計算詞權重，其單個詞權重WS(V_i)計算公式為：

其中，In(V_i)代表指向該詞V_i的集合，Out(V_j)代表V_i指向的詞集合，d為阻尼系數，設置為0.85；s_ij為詞V_i到V_j邊的權重，s_jk為詞V_j到V_k邊的權重；

2.2通過預訓練好的word2vec模型，將分詞后的百科實體的摘要文本轉化為詞的分布式低維實數向量表示，將一個詞的語義轉化為另外一個詞的語義的代價定義為Wordtravel cost，詞V_i，V_j之間的word travel cost定義為：

C(i，j)＝||x_i-x_j||₂

其中，x_i，x_j分別對應詞V_i，V_j所對應的Word2Vec詞向量；

2.3在計算文檔D₀，D₁的距離時，WMD會嘗試尋找最小的代價將D₀中的所有單詞轉化為D₁中的單詞；D₀中的詞V_i的權重為WS(V_i)，D₁中的詞V_j的權重為WS(V_j)，且V_i，V_j∈{V₀，V₁...V_n}；設T∈R^n×n為低維系數矩陣，其中T_ij為詞語V_i到詞語V_j的轉移量，則WMD的優化表達式為：

其中：

2.4通過以上計算，百科實體的摘要文本相似度計算公式為：

2.根據權利要求1所述的一種基于改進WMD算法的實體對齊方法，其特征在于步驟3通過屬性相似度和摘要文本相似度綜合判斷的步驟如下包括：

3.1將計算得出的屬性相似度和預設定的實體屬性相似度上限閾值ν和下限閾值ω進行比較，如大于等于上限閾值ν，則對齊實體，輸出新的實體；若相似度在在上限閾值ν和下限閾值ω之間或等于下限閾值ω，則轉向步驟3.2；否則認為該實體對之間不需要對齊工作；

3.2將摘要文本相似度和預設定的摘要文本相似度閾值λ進行比較，若大于等于閾值λ，則對齊實體，輸出新的實體；否則判定這兩個實體無關。