[發明專利]互聯網稀有資源的挖掘方法及裝置在審
| 申請號： | 201410307883.0 | 申請日： | 2014-06-30 |
| 公開（公告）號： | CN104050294A | 公開（公告）日： | 2014-09-17 |
| 發明（設計）人： | 王智廣 | 申請（專利權）人： | 北京奇虎科技有限公司;奇智軟件（北京）有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京智匯東方知識產權代理事務所(普通合伙) 11391 | 代理人： | 康正德;孫曉芳 |
| 地址： | 100088 北京市西城區新*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 互聯網 稀有 資源 挖掘 方法 裝置 | ||
1.一種互聯網稀有資源的挖掘方法，包括：
對搜索引擎收錄的網頁進行切詞處理，生成多個詞term；
在所述多個term查找出現次數少于次數閾值、且具備意義的稀有term，其中，所述具備意義是指term具備實詞含義，能夠示意事件內容；
查找包括稀有term的網頁，定義為稀有網頁；
對所述稀有網頁進行處理，挖掘得到稀有網絡資源。
2.根據權利要求1所述的方法，其中，在所述多個term查找出現次數少于次數閾值、且具備意義的稀有term，包括：
計算所述多個term在網頁中的出現頻率；
在所述多個term中，將出現頻率較高的N個term過濾掉；
在過濾剩下的term中查找出現次數少于次數閾值、且具備意義的稀有term。
3.根據權利要求1-2任一項所述的方法，其中，所述在過濾剩下的term中查找出現次數少于次數閾值、且具備意義的稀有term，包括：
對于剩下的每個term，
計算每個term的類型，以及包含此term的網頁數量；
查找在網頁中的出現次數少于閾值、且根據類型具備意義的term，即為稀有term。
4.根據權利要求1至3任一項所述的方法，其中，對所述稀有網頁進行處理，包括：對所述稀有網頁進行去垃圾處理。
5.根據權利要求1-4任一項所述的方法，其中，對所述稀有網頁進行去垃圾處理，包括：對所述稀有網頁進行去重處理。
6.根據權利要求1-5任一項所述的方法，其中，對所述稀有網頁進行去重處理，包括：
為所述稀有網頁進行網頁簽名，以及為所述稀有網頁中的稀有term生成詞簽名；
對網頁簽名以及詞簽名均相同的多個網頁，保留其中一個。
7.一種互聯網稀有資源的挖掘裝置，包括：
切詞模塊，配置為對搜索引擎收錄的網頁進行切詞處理，生成多個詞term；
查找模塊，配置為在所述多個term查找出現次數少于次數閾值、且具備意義的稀有term，其中，所述具備意義是指term具備實詞含義，能夠示意事件內容；
所述查找模塊還配置為查找包括稀有term的網頁，定義為稀有網頁；
挖掘模塊，配置為對所述稀有網頁進行處理，挖掘得到稀有網絡資源。
8.根據權利要求7所述的裝置，其中，所述查找模塊還配置為：
計算所述多個term在網頁中的出現頻率；
在所述多個term中，將出現頻率較高的N個term過濾掉；
在過濾剩下的term中查找出現次數少于次數閾值、且具備意義的稀有term。
9.根據權利要求7-8任一項所述的裝置，其中，所述查找模塊還配置為：
對于剩下的每個term，
計算每個term的類型，以及包含此term的網頁數量；
查找在網頁中的出現次數少于閾值、且根據類型具備意義的term，即為稀有term。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京奇虎科技有限公司;奇智軟件（北京）有限公司，未經北京奇虎科技有限公司;奇智軟件（北京）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201410307883.0/1.html，轉載請聲明來源鉆瓜專利網。
