[發(fā)明專利]一種語(yǔ)義冗余的挖掘方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201210306502.8
• 申請(qǐng)日: 2012-08-24
• 公開(kāi)（公告）號(hào): CN103631812B
• 公開(kāi)（公告）日: 2018-09-04
• 發(fā)明（設(shè)計(jì)）人: 趙世奇
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 袁媛

1.一種語(yǔ)義冗余的挖掘方法，其特征在于，該方法包括：

S1、從搜索日志中獲取Q-Q、Q-T和T-T中的至少一種資源作為候選句對(duì)，所述Q-Q為用戶在一個(gè)會(huì)話session中搜索的兩個(gè)查詢項(xiàng)query構(gòu)成的句對(duì)，所述Q-T為query與對(duì)應(yīng)的被點(diǎn)擊網(wǎng)頁(yè)標(biāo)題title構(gòu)成的句對(duì)，所述T-T為同一個(gè)query對(duì)應(yīng)的兩個(gè)被點(diǎn)擊title構(gòu)成的句對(duì)；

S2、從各候選句對(duì)中抽取具有相同上下文語(yǔ)境的短語(yǔ)對(duì)作為候選復(fù)述短語(yǔ)對(duì)；

S3、從候選復(fù)述短語(yǔ)對(duì)中抽取短語(yǔ)p2被另一個(gè)短語(yǔ)p1完全包含的候選復(fù)述短語(yǔ)對(duì)；

S4、對(duì)所述步驟S3抽取出的候選復(fù)述短語(yǔ)對(duì)進(jìn)行噪聲過(guò)濾后，得到語(yǔ)義冗余短語(yǔ)對(duì)，所述語(yǔ)義冗余短語(yǔ)對(duì)中短語(yǔ)p1比短語(yǔ)p2冗余的詞語(yǔ)為語(yǔ)義冗余詞。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述步驟S2中按照如下短語(yǔ)抽取規(guī)則抽取短語(yǔ)對(duì)作為候選復(fù)述短語(yǔ)對(duì)：兩個(gè)短語(yǔ)的前一個(gè)詞相同且后一個(gè)詞相同，但兩個(gè)短語(yǔ)本身不相同。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述短語(yǔ)抽取規(guī)則還包括以下至少一種：兩短語(yǔ)的長(zhǎng)度在預(yù)設(shè)的長(zhǎng)度范圍內(nèi)，兩短語(yǔ)中不包含標(biāo)點(diǎn)且不完全由停用詞構(gòu)成，或者兩短語(yǔ)之前和之后不是標(biāo)點(diǎn)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S2中還包括：統(tǒng)計(jì)各候選復(fù)述短語(yǔ)對(duì)分別從Q-Q、Q-T和T-T抽取出來(lái)的次數(shù)，將總次數(shù)小于預(yù)設(shè)次數(shù)閾值的候選復(fù)述短語(yǔ)對(duì)過(guò)濾掉。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S4中所述噪聲過(guò)濾包括以下至少一種：

計(jì)算候選復(fù)述短語(yǔ)對(duì)的上下文的熵，將存在上下文的熵小于預(yù)設(shè)熵閾值的候選復(fù)述短語(yǔ)對(duì)過(guò)濾掉；

統(tǒng)計(jì)候選復(fù)述短語(yǔ)對(duì)從Q-Q、Q-T和T-T抽取出來(lái)的總次數(shù)以及候選復(fù)述短語(yǔ)對(duì)從Q-T抽取出來(lái)的次數(shù)C_q-t(p1，p2)，將總次數(shù)小于預(yù)設(shè)第一次數(shù)閾值Th1且C_q-t(p1，p2)小于第二次數(shù)閾值Th2的候選復(fù)述短語(yǔ)對(duì)過(guò)濾掉，其中所述Th1大于所述Th2；

如果候選復(fù)述短語(yǔ)對(duì)中短語(yǔ)p1比p2冗余的詞語(yǔ)存在于過(guò)濾詞表L1中，則將該候選復(fù)述短語(yǔ)對(duì)過(guò)濾掉；

如果候選復(fù)述短語(yǔ)對(duì)中短語(yǔ)p2存在于過(guò)濾詞表L2中，則將該候選復(fù)述短語(yǔ)對(duì)過(guò)濾掉；

確定同一短語(yǔ)p2所在的各候選復(fù)述短語(yǔ)對(duì)的詞頻分值，將詞頻分值排在前N個(gè)之外的候選復(fù)述短語(yǔ)對(duì)過(guò)濾掉，所述N為預(yù)設(shè)的正整數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述計(jì)算候選復(fù)述短語(yǔ)對(duì)的上下文的熵具體包括：

按照公式計(jì)算候選復(fù)述短語(yǔ)對(duì)<p1，p2>的左上下文的熵El(p1,p2)；

按照公式計(jì)算候選復(fù)述短語(yǔ)對(duì)<p1，p2>的右上下文的熵Er(p1,p2)；

其中，wl為p1和p2的所有左上下文詞，wr為p1和p2的所有右上下文詞，當(dāng)w∈wl時(shí)，p(w)為w相對(duì)于所有左上下文詞的出現(xiàn)概率，當(dāng)w∈wr時(shí)，p(w)為w相對(duì)于所有右上下文詞的出現(xiàn)概率，所述左上下文指的是所述<p1，p2>的所述相同上下文語(yǔ)境中在p1或p2之前的上下文，右上下文指的是所述<p1，p2>的所述相同上下文語(yǔ)境中在p1或p2之后的上下文。