[發明專利]同義詞的獲取方法及裝置

有效

• 申請號: 201410156167.7
• 申請日: 2014-04-17
• 公開（公告）號: CN105095204B
• 公開（公告）日: 2018-12-14
• 發明（設計）人: 阮淑梨;蔣建;魏洪平;謝慶偉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京億騰知識產權代理事務所 11309
• 代理人: 李楠

1.一種同義詞的獲取方法，其特征在于，所述方法包括：

獲取文本集，對所述文本集進行分詞生成第一詞語集；

對所述第一詞語集通過停詞表識別，進行無效詞過濾生成第二詞語集；

對所述第二詞語集中的任意兩個詞語進行編輯距離處理，生成第一同義詞對集；

對所述第一詞語集中的詞語構建基于上下文語境的向量空間模型；

根據所述向量空間模型，獲得所述第一同義詞對集中的每對同義詞的空間向量，計算所述第一同義詞對集中的每對同義詞的余弦相似度值，并根據所述余弦相似度值將所述每對同義詞進行余弦閾值過濾策略的識別，生成第二同義詞對集；

對所述第二同義詞對集中的詞語進行詞性標注，通過詞性過濾策略生成第三同義詞對集；

將所述第三同義詞對集中的詞語通過一元模型處理后，生成第四同義詞對集，以獲取同義詞。

2.根據權利要求1中的同義詞的獲取方法，其特征在于，所述對所述第二詞語集中的任意兩個詞語進行編輯距離處理生成第一同義詞對集具體包括：

判斷所述任意兩個詞語的長度比例是否小于等于2且大于等于1/2，如果是則進行下一步，如果否則計算結束；

計算所述任意兩個詞語的編輯距離；

判斷所述任意兩個詞語的編輯距離是否小于等于所述兩個詞語的長度中的最小長度的1/2，如果是則進行下一步，如果否則計算結束；

輸出所有滿足判斷條件的兩個詞語為第一同義詞對集。

3.根據權利要求2中的同義詞的獲取方法，其特征在于，所述計算所述兩個詞語的編輯距離具體包括：根據如下公式計算所述兩個詞語的編輯距離：

其中，

a、b是所述第二詞語集中的任意兩個詞語，a＝a₁…a_i…a_n,b＝b₁…b_j…b_n,d_ij為a的第i個字符到b的第j個字符的編輯距離,m為a的長度，n為b的長度，a_i為a的第i個字符，b_j為b的第j個字符。

4.根據權利要求1中的同義詞的獲取方法，其特征在于，所述對所述第一詞語集中的詞語構建基于上下文語境的向量空間模型具體包括：根據如下公式為所述第一詞語集中的詞語構建向量空間模型：

其中，d_i為所述第一詞語集中的任意詞語，為d_i的空間向量，t為所述第一詞語集中的詞語總數，W_ti為第i個詞語與第t個詞語在上下文語境中的關系。

5.根據權利要求1中的同義詞的獲取方法，其特征在于，所述根據所述向量空間模型，獲得所述第一同義詞對集中的每對同義詞的空間向量，計算所述第一同義詞對集中的每對同義詞的余弦相似度值具體包括：

根據所述向量空間模型，獲得所述第一同義詞對集中的任意一對同義詞A與B的空間向量為

根據如下公式計算每對同義詞的余弦相似度值：

其中，A與B是所述第一同義詞對集中的任意一對同義詞，與是A與B的空間向量，的取值范圍為[-1,1]。

6.根據權利要求1中的同義詞的獲取方法，其特征在于，所述將所述第三同義詞對集中的詞語通過一元模型處理后，生成第四同義詞對集具體包括：根據如下公式計算所述第三同義詞對集中的詞語的一元模型值，將所述第三同義詞對集根據所述一元模型值通過概率閾值過濾生成所述第四同義詞對集：

其中，W_i為所述第三同義詞對集中的任意詞語，P(W_i)為W_i的一元模型值，表示W_i在所述文本集中出現的概率，C(W_i)表示詞語W_i在所述文本集中出現的次數，t表示所述文本集中所有詞語出現的總次數，將P(W_i)小于概率閾值U的詞語過濾,其中U是自定義的值。