[發明專利]一種語義冗余的挖掘方法和裝置

有效

• 申請號: 201210306502.8
• 申請日: 2012-08-24
• 公開（公告）號: CN103631812B
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 趙世奇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

本發明提供了一種語義冗余的挖掘方法和裝置，方法包括：S1、從搜索日志中獲取Q?Q、Q?T和T?T中的至少一種資源作為候選句對，Q?Q為用戶在一個會話中搜索的兩個query構成的句對，Q?T為query與對應的被點擊網頁標題（title）構成的句對，T?T為同一個query對應的兩個被點擊title構成的句對；S2、從各候選句對中抽取具有相同上下文語境的短語對作為候選復述短語對；S3、從候選復述短語對中抽取短語p2被另一個短語p1完全包含的候選復述短語對；S4、對步驟S3抽取出的候選復述短語對進行噪聲過濾后，得到語義冗余短語對。本發明實現了語義冗余的挖掘，為語義冗余的識別以及進一步提高搜索準確率和召回率提供基礎。

【技術領域】

本發明涉及計算機應用技術領域，特別涉及一種語義冗余的挖掘方法和裝置。

【背景技術】

冗余存在于言語的每一個平面上，同一言語片段中，各詞項中可能反復出現一些義素，這些重復出現的義素就可能構成語義冗余。若一個字符串S在去掉其中某個詞w后語義基本不變，則可以確定S中存在語義冗余，且w是S中的冗余詞。例如“蘋果牌的筆記本電腦一般多少錢啊”這一句子，其中“的”、“啊”為停用詞可以忽略，“一般”為與上下文相關性不大的冗余詞，其雖然不是停用詞，但語義限定作用也不大同樣可以忽略。但其中的“牌”相對于“蘋果”在語義上存在冗余，“電腦”相對于“筆記本”在語義上存在冗余。

對于搜索引擎來說，語義冗余的識別技術非常重要，起碼表現在兩個方面：首先，很多用戶query中存在語義冗余，去掉這些語義冗余詞之后通常有助于用戶獲取更有價值的結果，例如可以提高搜索結果的召回率。其次，搜索結果中也存在語義冗余，識別出其中的語義冗余可以更加精確地計算query和搜索結果的相似度。然而，語義冗余的識別需要依靠預先對語義冗余的挖掘，因此語義冗余的挖掘對提高搜索的準確率和召回率就十分重要。

【發明內容】

有鑒于此，本發明提供了一種語義冗余的挖掘方法和裝置，為語義冗余的識別以及進一步提高搜索準確率和召回率提供基礎。

具體技術方案如下：

一種語義冗余的挖掘方法，該方法包括：

S1、從搜索日志中獲取Q-Q、Q-T和T-T中的至少一種資源作為候選句對，所述Q-Q為用戶在一個會話session中搜索的兩個query構成的句對，所述Q-T為query與對應的被點擊網頁標題title構成的句對，所述T-T為同一個query對應的兩個被點擊title構成的句對；

S2、從各候選句對中抽取具有相同上下文語境的短語對作為候選復述短語對；

S3、從候選復述短語對中抽取短語p2被另一個短語p1完全包含的候選復述短語對；

S4、對所述步驟S3抽取出的候選復述短語對進行噪聲過濾后，得到語義冗余短語對，所述語義冗余短語對中短語p1比短語p2冗余的詞語為語義冗余詞。

根據本發明一優選實施例，在所述步驟S2中按照如下短語抽取規則抽取短語對作為候選復述短語對：兩個短語的前一個詞相同且后一個詞相同，但兩個短語本身不相同。

根據本發明一優選實施例，所述短語抽取規則還包括以下至少一種：兩短語的長度在預設的長度范圍內，兩短語中不包含標點且不能完全由停用詞構成，或者兩短語之前和之后不能是標點。

根據本發明一優選實施例，所述步驟S2中還包括：統計各候選復述短語對分別從Q-Q、Q-T和T-T抽取出來的次數，將總次數小于預設次數閾值的候選復述短語對過濾掉。

根據本發明一優選實施例，步驟S4中所述噪聲過濾包括以下至少一種：

計算候選復述短語對的上下文的熵，將存在上下文的熵小于預設熵閾值的候選復述短語對過濾掉；