[發明專利]互聯網稀有資源的挖掘方法及裝置

在審

• 申請號: 201410307883.0
• 申請日: 2014-06-30
• 公開（公告）號: CN104050294A
• 公開（公告）日: 2014-09-17
• 發明（設計）人: 王智廣
• 申請（專利權）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 康正德;孫曉芳

技術領域

本發明涉及互聯網應用領域，特別是涉及一種互聯網稀有資源的挖掘方法及裝置。

背景技術

互聯網中充斥著各種資源，有些資源是比較豐富的，有些資源是比較稀有的，比如某些人名、偏遠地名、電話號碼等就是比較稀有的。所謂稀有就是涉及到這些內容的有價值網頁數量較少，當用戶利用搜索引擎查詢這些查詢(query)時搜索引擎給的結果數往往較少，很多時候無法滿足用戶的查詢需求。

滿足用戶的稀有查詢是搜索引擎覆蓋率的一個重要指標，直接影響用戶的搜索體驗。所以多數搜索引擎公司會把稀有查詢(也稱稀有覆蓋率)單獨作為一個評價標準。

目前采用的稀有查詢方案是，分析用戶查詢歷史，把展現結果數較少的query單獨分析，針對這些query分析搜索引擎收錄的網頁，從中挖掘出一些網頁來補充這些query的展現結果。

但是，上述方案的缺點是存在滯后性，在用戶沒有查詢前是不知道哪些是稀有的，用戶第一次查詢的體驗是比較差的，而且覆蓋面有限，僅僅是用戶查詢過的query。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的互聯網稀有資源的挖掘方法和相應的裝置。

基于本發明的一個方面，本發明實施例提供了一種互聯網稀有資源的挖掘方法，包括：

對搜索引擎收錄的網頁進行切詞處理，生成多個詞term；

在所述多個term查找出現次數少于次數閾值、且具備意義的稀有term，其中，所述具備意義是指term具備實詞含義，能夠示意事件內容；

查找包括稀有term的網頁，定義為稀有網頁；

對所述稀有網頁進行處理，挖掘得到稀有網絡資源。

可選地，在所述多個term查找出現次數少于次數閾值、且具備意義的稀有term，包括：

計算所述多個term在網頁中的出現頻率；

在所述多個term中，將出現頻率較高的N個term過濾掉；

在過濾剩下的term中查找出現次數少于次數閾值、且具備意義的稀有term。

可選地，所述在過濾剩下的term中查找出現次數少于次數閾值、且具備意義的稀有term，包括：

對于剩下的每個term，

計算每個term的類型，以及包含此term的網頁數量；

查找在網頁中的出現次數少于閾值、且根據類型具備意義的term，即為稀有term。

可選地，出現頻率較高的N個term的類型包括下列至少之一：

語氣詞；

連詞；

助詞；

具有類型性的名稱。

可選地，所述term的類型包括下列至少之一：

小數點型；

字符串型；

電話號碼型；

漢字型；

郵箱型。

可選地，對所述稀有網頁進行處理，包括：對所述稀有網頁進行去垃圾處理。

可選地，對所述稀有網頁進行去垃圾處理，包括：對所述稀有網頁進行去重處理。

可選地，對所述稀有網頁進行去重處理，包括：

為所述稀有網頁進行網頁簽名，以及為所述稀有網頁中的稀有term生成詞簽名；

對網頁簽名以及詞簽名均相同的多個網頁，保留其中一個。

可選地，所述具備意義的term包括下列任意之一：電話號碼、郵箱、人名、地名、物名。

基于本發明的另一個方面，本發明實施例還提供了一種互聯網稀有資源的挖掘裝置，包括：

切詞模塊，配置為對搜索引擎收錄的網頁進行切詞處理，生成多個詞term；

查找模塊，配置為在所述多個term查找出現次數少于次數閾值、且具備意義的稀有term，其中，所述具備意義是指term具備實詞含義，能夠示意事件內容；

所述查找模塊還配置為查找包括稀有term的網頁，定義為稀有網頁；

挖掘模塊，配置為對所述稀有網頁進行處理，挖掘得到稀有網絡資源。

可選地，所述查找模塊還配置為：

計算所述多個term在網頁中的出現頻率；

在所述多個term中，將出現頻率較高的N個term過濾掉；

在過濾剩下的term中查找出現次數少于次數閾值、且具備意義的稀有term。

可選地，所述查找模塊還配置為：

對于剩下的每個term，

計算每個term的類型，以及包含此term的網頁數量；