[發明專利]一種同義詞的識別方法及裝置

有效

• 申請號: 201410143864.9
• 申請日: 2014-04-10
• 公開（公告）號: CN104978356B
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 陳俊波;王力;李紅松;龐昂博;陳春明
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

本申請涉及一種同義詞的識別方法，該方法包括：根據待測描述文本，使用屬性詞識別模型，獲取待測描述文本的屬性詞和與屬性詞相對應的類型；根據屬性詞和與屬性詞相對應的類型，結合用戶行為日志，計算屬性詞之間的關聯性特征；根據從屬性詞中選擇的樣本屬性詞之間的關聯性特征和樣本屬性詞之間的文本特征，進行同義詞識別模型的訓練，以得到同義詞識別模型；以及根據待測屬性詞之間的關聯性特征和待測屬性詞之間的文本特征，使用同義詞識別模型，識別各待測屬性詞之間是否是同義詞，以進行后續處理。根據本申請的技術方案，能提高同義詞識別的全面性和準確性，從而提高檢索結果的準確性和效率。

技術領域

本申請涉及互聯網領域，更具體地涉及一種同義詞的識別方法及裝置。

背景技術

在電子商務領域，對商品的描述可以使用不同種類的屬性描述詞，即屬性詞。例如，“香奈兒”是商品的品牌屬性詞，“全棉”是商品的材質屬性詞，“錢包”是產品屬性詞，“Galaxy”是型號屬性詞。由于自然語言的豐富性，在使用屬性詞的過程中，存在大量同義的非規范的使用情況。例如，品牌屬性詞“香奈兒”可能的同義詞有“夏奈兒”，“香耐爾”，“Chanel”，“雙C”，“小香”等；材質屬性詞“全棉”的同義詞可以有“純棉”，“100％棉”，“百分百棉”等。在電子商務領域的商品管理中，為了讓出售的商品被更多的買家檢索到，也為了讓買家能方便地檢索到需要的商品，對屬性詞的同義詞識別是需要解決的核心問題。

2010年10月27日公開了名稱為“識別同義詞的方法、裝置及利用其進行搜索的方法和裝置”的(申請號：200910137633)專利申請。該申請公開了一種識別中文同義詞的方法和裝置以及利用其進行搜索的方法和裝置，所述方法通過確定需要識別的兩個中文詞之間的最小編輯距離，并且通過判斷這兩個中文詞是否都存在于預設的知識庫中，來判定所述兩個中文詞是否為同義詞。這種方法存在以下缺陷：

首先，其同義詞的識別基于編輯距離，但是，若實質上為同義詞的兩個詞的在文本上不是非常接近，即編輯距離很遠，則無法識別出同義詞。例如，在電子商務領域中，編輯距離遠的同義詞有很多，例如“香奈兒”和“雙C”的編輯距離很遠，但它們卻是同義詞；

其次，其同義詞的識別依賴于知識庫的內容，若非知識庫中的內容則無法識別出同義詞。例如，在電子商務系統中，文本內容非常豐富，知識庫中能涵蓋到的內容往往很有限，通常只涵蓋某個概念的規范表達。例如“香奈兒”可能是知識庫中收錄的規范表達，但“夏奈爾”，“雙C”，“小香”這樣的別稱無法保證收錄在知識庫中。

因此，通過上述方法能識別出的同義詞覆蓋范圍非常有限，很多屬于同義詞的屬性詞無法被識別出來，這影響了同義詞識別的全面性和準確性，從而影響了檢索結果的準確性和效率。

發明內容

本申請的主要目的在于，針對上述缺陷，提供一種同義詞的識別技術，以解決現有技術依賴編輯距離和知識庫識別同義詞的問題，提高同義詞識別的全面性和準確性，從而提高檢索結果的準確性和效率。

根據本申請的第一方面，提供一種同義詞的識別方法，其特征在于，包括：根據待測描述文本，使用屬性詞識別模型，獲取待測描述文本的屬性詞和與屬性詞相對應的類型；根據屬性詞和與屬性詞相對應的類型，結合用戶行為日志，計算屬性詞之間的關聯性特征；根據從屬性詞中選擇的樣本屬性詞之間的關聯性特征和樣本屬性詞之間的文本特征，進行同義詞識別模型的訓練，以得到同義詞識別模型；以及根據待測屬性詞之間的關聯性特征和待測屬性詞之間的文本特征，使用同義詞識別模型，識別各待測屬性詞之間是否是同義詞，以進行后續處理。