[發明專利]一種挖掘同義屬性詞的方法和裝置有效

申請號：	201110358740.9	申請日：	2011-11-11
公開（公告）號：	CN103106189A	公開（公告）日：	2013-05-15
發明（設計）人：	陳慶軒;李皛皛	申請（專利權）人：	北京百度網訊科技有限公司
主分類號：	G06F17/27	分類號：	G06F17/27;G06F17/30
代理公司：	北京鴻德海業知識產權代理事務所(普通合伙) 11412	代理人：	袁媛
地址：	100085 北京市***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種挖掘同義屬性方法裝置
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

【技術領域】

本發明涉及計算機技術領域，特別涉及一種挖掘同義屬性詞的方法和裝置。

【背景技術】

隨著網絡技術的不斷發展，搜索引擎已經成為人們獲取信息的重要途徑，用戶通過在搜索引擎中輸入搜索詞(query)，獲取搜索引擎針對該query返回的搜索結果。為了有針對性地向用戶返回搜索結果，需要對query進行需求分析，其中實體屬性是分析用戶需求的基礎，同時也使實現結構化搜索(垂直搜索)的基礎。即從query中分析出實體詞和屬性詞，例如對于“劉德華身高是多少”的query，分析出其實體詞為“劉德華”，屬性詞為“身高”，這樣就能夠通過結構化搜索返回用戶想知道的劉德華身高的具體信息。

在實體屬性的識別過程中，實體詞和屬性詞分別通過預設的實體詞詞典和屬性詞詞典進行匹配識別，然而，通常實體詞的表述比較唯一和固定，而屬性詞則可能存在不同的表述形式，通常屬性詞詞典中包含的是標準化的表述形式，對于其他的同義屬性詞則通過人工的方式添加或者結合同義詞詞庫添加，人工添加的方式耗費人力資源、效率較低且召回率較低；結合同義詞詞典的方式，同樣存在召回率較低的問題，例如，對于某些同義詞詞典中所沒有的口語化的表述“有多高”、“個頭”等同義屬性詞都無法召回。

【發明內容】

本發明提供了一種挖掘同義屬性詞的方法和裝置，以便于節約人力資源、提高效率和召回率。

具體技術方案如下：

一種挖掘同義屬性詞的方法，該方法包括：

S1、獲取query集合；

S2、基于已有的實體詞詞典和屬性詞詞典對query集合中的各query進行結構化解析，抽取出標準query，未抽取出標準query的query作為非標準query，所述標準query由實體詞和屬性詞的組合構成；

S3、針對每一個標準query分別執行步驟S31至步驟S32：

S31、計算各非標準query與當前標準query的點擊相似度，確定點擊相似度滿足預設相似度要求且與當前標準query具有相同實體詞的非標準query；

S32、將所述步驟S31確定的非標準query中去除與當前標準query相同的實體詞后，對剩余的詞語進行過濾處理得到候選同義屬性詞；

S33、基于候選同義屬性詞與當前標準query中屬性詞的共現頻度占比、點擊相似度以及字面相似度中的至少一種，對各候選同義屬性詞進行打分，獲取打分值滿足預設分值要求的候選同義屬性詞作為當前標注query中屬性詞的同義屬性詞。

根據本發明一優選實施例，該方法還包括：確定所述query集合中各query的點擊向量，所述query的點擊向量由query對應的被點擊url以及各被點擊url的點擊權重構成；

所述步驟S31中計算非標準query與當前標準query的點擊相似度為：計算非標準query的點擊向量與當前標準query的點擊向量的余弦相似度。