[發明專利]同義詞的獲取方法及裝置

有效

• 申請號: 201410156167.7
• 申請日: 2014-04-17
• 公開（公告）號: CN105095204B
• 公開（公告）日: 2018-12-14
• 發明（設計）人: 阮淑梨;蔣建;魏洪平;謝慶偉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京億騰知識產權代理事務所 11309
• 代理人: 李楠

本發明涉及一種同義詞的獲取方法及裝置，該方法包括：獲取文本集，對文本集進行分詞生成第一詞語集；對第一詞語集通過停詞表進行無效詞過濾生成第二詞語集；對第二詞語集中的任意兩個詞語進行編輯距離處理生成第一同義詞對集；對第一詞語集中的詞語構建向量空間模型；根據該模型獲得每對同義詞的空間向量，計算每對同義詞的余弦相似度值，將每對同義詞進行余弦閾值過濾策略的識別，生成第二同義詞對集；對第二同義詞對集中的詞語進行詞性標注生成第三同義詞對集；將第三同義詞對集中的詞語通過一元模型處理后獲取同義詞。因此，本申請實現了檢索出的同義詞更為準確，并且沒有歧義詞語和無效詞語出現，從而智能的檢索出同義詞的相關網頁。

技術領域

本發明涉及計算機技術領域，尤其涉及一種同義詞的獲取方法及裝置。

背景技術

隨著互聯網的高速發展，電子商務也逐步發展起來。對于電子商務網站的站內搜索引擎而言，應該盡可能準確的將與用戶所輸入的搜索請求的同義詞相匹配的網頁檢索出來。在檢索中同義詞是語言中廣泛存在的現象，這是由客觀概念與具體詞語間的復雜關系造成的。

對于業務同義詞詞表的構建，假如通過人工逐一標記，耗時長，同時不能保證數據能夠被完全覆蓋，而且人工帶有個人感情色彩以及經驗主義，所以人工生成的業務同義詞詞表正確性存在一定的主觀元素。

現有的同義詞林標記，由于同義詞林龐大，內容廣泛，很多同義詞不屬于業務詞類，沒必要進行標記但需要進行額外的過濾，同時，同義詞林沒有針對性，對于某些業務同義詞沒有特殊標記，所以用同義詞林標注的業務同義詞詞表，會存在過多不相關的同義詞對，以及會對某些業務同義詞對有所疏漏。所以，針對業務數據特點，有必要通過數據獲取的方式，智能快捷的標注出該業務場景下的同義詞詞表。

現有的同義詞獲取的方法側重于基于詞匯字面相似度算法以及基于《同義詞詞林》、《知網》等語義詞典的語義相似度算法。基于詞匯相似度算法的方法，主要是基于詞匯字形相似度算法，有時會引入權重計算來提高字面相似度的識別效果，或是引入詞性特點對同義詞識別進行歸類計算。但是現有技術中基于詞匯字面相似度算法的同義詞獲取方法，只是通過編輯距離處理生成同義詞集，識別效率還不夠高，在識別出來的同義詞詞表中還需要進行大量的人工篩選操作才能獲得最終的同義詞詞表。

在語義相似度算法上，主要是根據《同義詞詞林》的編碼規范，將詞匯相似度比較轉換成詞匯在詞林中的編碼相似度的比較。現有的基于語義相似度算法的同義詞獲取方法，在業務應用上很多時候顯得不太實用，一來詞林龐大，一般具有通用性，所以涵蓋了大量不必要的同義詞信息，而且詞林不具有針對性，對于一些業務詞匯沒有進行詞性標注，有時候還需要將一些詞林詞匯進行合成才能獲得業務詞匯，這個合成過程就會容易造成歧義詞匯的出現。

發明內容

本發明的目的是提供了一種同義詞的獲取方法及裝置，以解決現有技術中檢索同義詞時，歧義同義詞和不精確的同義詞的出現。

為實現上述目的，本發明一方面提供了一種同義詞的獲取方法，該方法包括：獲取文本集，對文本集進行分詞生成第一詞語集；對第一詞語集通過停詞表識別，進行無效詞過濾生成第二詞語集；對第二詞語集中的任意兩個詞語進行編輯距離處理生成第一同義詞對集；對第一詞語集中的詞語構建向量空間模型；根據向量空間模型，獲得第一同義詞對集中的每對同義詞的空間向量，計算第一同義詞對集中的每對同義詞的余弦相似度值，并根據余弦相似度值將每對同義詞進行余弦閾值過濾策略的識別，生成第二同義詞對集；對第二同義詞對集中的詞語進行詞性標注，通過詞性過濾策略生成第三同義詞對集；將第三同義詞對集中的詞語通過一元模型處理后，生成第四同義詞對集，以獲取同義詞。