[發(fā)明專利]搜索日志的挖掘方法和裝置以及頁(yè)面搜索的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201010600713.3
• 申請(qǐng)日: 2010-12-22
• 公開（公告）號(hào): CN102073684A
• 公開（公告）日: 2011-05-25
• 發(fā)明（設(shè)計(jì)）人: 辜斯繆
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何青瓦;李慶波

【技術(shù)領(lǐng)域】

本發(fā)明屬于互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及一種搜索日志的挖掘方法和裝置以及頁(yè)面搜索的方法和裝置。

【背景技術(shù)】

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展以及信息的不斷膨脹，人們對(duì)于網(wǎng)絡(luò)信息的使用需求越來(lái)越高，搜索引擎成為人們獲取網(wǎng)絡(luò)信息的重要工具。當(dāng)用戶輸入搜索詞(query)后，搜索引擎通常會(huì)將包含該搜索詞的頁(yè)面包含在搜索結(jié)果中返回給用戶。

然而，現(xiàn)有的搜索技術(shù)中，無(wú)法對(duì)用戶所輸入query的時(shí)效性需求進(jìn)行識(shí)別，例如用戶想要獲取剛發(fā)生不久的事件的相關(guān)信息，但搜索引擎并不會(huì)理解用戶的該時(shí)效性需求，返回的搜索結(jié)果僅僅基于以往搜索歷史，并按照預(yù)先設(shè)定的各屬性權(quán)值對(duì)搜索結(jié)果進(jìn)行排序，用戶可能無(wú)法快速準(zhǔn)確地從搜索結(jié)果中找到需求的頁(yè)面。例如，用戶想要獲取剛發(fā)生不久的河北爆炸事件的網(wǎng)絡(luò)信息，輸入“河北爆炸”的query，由于該事件剛發(fā)生不久，網(wǎng)絡(luò)資源還較少，在搜索結(jié)果中，近期所發(fā)生河北爆炸事件的頁(yè)面可能會(huì)淹沒在海量與河北爆炸相關(guān)的歷史事件的頁(yè)面中，用戶無(wú)法快速準(zhǔn)確地從搜索結(jié)果中找到需求的頁(yè)面。

【發(fā)明內(nèi)容】

本發(fā)明提供了一種搜索日志的挖掘方法和裝置以及頁(yè)面搜索的方法和裝置，以便于對(duì)用戶query的時(shí)效性需求進(jìn)行識(shí)別，滿足用戶對(duì)搜索結(jié)果的時(shí)效性需求。

具體技術(shù)方案如下：

一種搜索日志的挖掘方法，包括：對(duì)從搜索日志中抓取到的搜索詞query分別執(zhí)行步驟A1和步驟C1：

A1、對(duì)所述抓取到的query進(jìn)行分詞處理，執(zhí)行步驟B1；

B1、利用分詞處理后得到的各詞語(yǔ)和/或各詞語(yǔ)的屬性構(gòu)成的組合以及各組合的分布概率，歸納出類型，轉(zhuǎn)至步驟D1；

C1、對(duì)所述抓取到的query進(jìn)行篩選，得到時(shí)效性query集合和非時(shí)效性query集合，執(zhí)行步驟D1；

D1、統(tǒng)計(jì)步驟B1得到的各類型在步驟C1篩選出的時(shí)效性query集合和非時(shí)效性query集合中的分布，利用統(tǒng)計(jì)結(jié)果計(jì)算各類型對(duì)應(yīng)的時(shí)效性概率，并將各類型與時(shí)效性概率之間的對(duì)應(yīng)關(guān)系存儲(chǔ)在時(shí)效性概率表中。

其中，所述步驟B1具體包括：

B11、按照所述分詞處理后得到的各詞語(yǔ)的屬性，對(duì)各詞語(yǔ)進(jìn)行標(biāo)注；

B12、按照步驟B11的標(biāo)注結(jié)果，將同一個(gè)query中詞語(yǔ)的組合，或者詞語(yǔ)的屬性的組合，或者詞語(yǔ)和詞語(yǔ)的屬性的組合作為歸納出的類型，其中，所述歸納出的類型在所述搜索日志中的分布概率超過(guò)預(yù)設(shè)的類型分布概率閾值。

在步驟B11中，各詞語(yǔ)的屬性識(shí)別過(guò)程具體為：預(yù)先根據(jù)詞語(yǔ)在不同屬性中的分布概率，建立詞性統(tǒng)計(jì)表；利用分詞處理后得到的各詞語(yǔ)查找所述詞性統(tǒng)計(jì)表，確定所述各詞語(yǔ)對(duì)應(yīng)分布概率最高的屬性。

具體地，從搜索日志中抓取query所采用的抓取策略包括以下策略中的一種或任意組合：

抓取策略1：抓取對(duì)應(yīng)搜索結(jié)果中用戶所點(diǎn)擊頁(yè)面中發(fā)布時(shí)間在最近第一時(shí)間段內(nèi)的頁(yè)面占該用戶所點(diǎn)擊的所有頁(yè)面的比例超過(guò)預(yù)設(shè)第一比例閾值的query；

抓取策略2：抓取對(duì)應(yīng)搜索結(jié)果中發(fā)布時(shí)間在最近第二時(shí)間段內(nèi)的頁(yè)面占搜索結(jié)果的比例超過(guò)預(yù)設(shè)的第二比例閾值的query；

抓取策略3：抓取對(duì)應(yīng)搜索結(jié)果中存在用戶點(diǎn)擊頁(yè)面的發(fā)布時(shí)間在最近一段時(shí)間內(nèi)的所有query。

步驟C1中采用的篩選策略可以包括以下策略中的一種或任意組合：

篩選策略1：篩選出對(duì)應(yīng)搜索結(jié)果中用戶所點(diǎn)擊頁(yè)面中發(fā)布時(shí)間在最近第三時(shí)間段內(nèi)的頁(yè)面占該用戶所點(diǎn)擊的所有頁(yè)面比例超過(guò)預(yù)設(shè)第三比例閾值的query，構(gòu)成時(shí)效性query集合，其他query構(gòu)成非時(shí)效性query集合；其中，如果抓取策略采用所述抓取策略1，則所述第三時(shí)間段的時(shí)長(zhǎng)等于所述第一時(shí)間段的時(shí)長(zhǎng)且所述第三比例閾值大于所述第一比例閾值，或者，所述第三時(shí)間段的時(shí)長(zhǎng)小于所述第一時(shí)間段的時(shí)長(zhǎng)且所述第三比例閾值等于所述第一比例閾值，或者，所述第三時(shí)間段的時(shí)長(zhǎng)小于所述第一時(shí)間段的時(shí)長(zhǎng)且所述第三比例閾值大于所述第一比例閾值；

篩選策略2：篩選出對(duì)應(yīng)搜索結(jié)果中發(fā)布時(shí)間在最近第四時(shí)間段內(nèi)的頁(yè)面占搜索結(jié)果的比例超過(guò)預(yù)設(shè)的第四比例閾值的query，構(gòu)成時(shí)效性query集合，其他query構(gòu)成非時(shí)效性query集合；其中，如果抓取策略采用所述抓取策略2，則所述第四時(shí)間段的時(shí)長(zhǎng)等于所述第二時(shí)間段的時(shí)長(zhǎng)且所述第四比例閾值大于所述第二比例閾值，或者所述第四時(shí)間段的時(shí)長(zhǎng)小于所述第二時(shí)間段的時(shí)長(zhǎng)且所述第四比例閾值等于所述第二比例閾值，或者所述第四時(shí)間段的時(shí)長(zhǎng)小于所述第二時(shí)間段的時(shí)長(zhǎng)且所述第四比例閾值大于所述第二比例閾值；