[發(fā)明專利]網(wǎng)頁分類存儲系統(tǒng)及方法有效
| 申請?zhí)枺?/td> | 201210376351.3 | 申請日： | 2012-09-29 |
| 公開（公告）號： | CN102902791A | 公開（公告）日： | 2013-01-30 |
| 發(fā)明（設(shè)計(jì)）人： | 盧宏林 | 申請（專利權(quán)）人： | 北京奇虎科技有限公司;奇智軟件（北京）有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京路浩知識產(chǎn)權(quán)代理有限公司 11002 | 代理人： | 王瑩 |
| 地址： | 100088 北京市西城區(qū)新*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 網(wǎng)頁 分類 存儲系統(tǒng) 方法 | ||
1.一種網(wǎng)頁分類存儲系統(tǒng)，包括：
頁面框架ID計(jì)算模塊，適于抽取預(yù)先獲取的網(wǎng)頁的頁面框架，計(jì)算頁面框架ID；
頁面框架存儲模塊，適于將相同頁面框架ID的頁面框架存儲在以所述頁面框架ID為名稱的目錄下。
2.如權(quán)利要求1所述的網(wǎng)頁分類存儲系統(tǒng)，其特征在于，所述頁面框架存儲模塊具體適于在當(dāng)前子目錄下查找以所述頁面框架ID為名稱的目錄是否存在，若存在，則將頁面框架存儲在相應(yīng)ID的目錄下，若不存在，則創(chuàng)建以所述頁面框架ID為名稱的目錄，再將頁面框架存儲在相應(yīng)ID的目錄下。
3.如權(quán)利要求1或2所述的網(wǎng)頁分類存儲系統(tǒng)，其特征在于，所述系統(tǒng)還包括：
框架數(shù)量統(tǒng)計(jì)模塊，適于統(tǒng)計(jì)所述頁面框架ID為名稱的目錄下頁面框架數(shù)量；
網(wǎng)頁內(nèi)容存儲模塊，適于若達(dá)到閾值則計(jì)算頁面框架模式，并按計(jì)算出的頁面框架模式對該目錄下的頁面框架對應(yīng)的網(wǎng)頁進(jìn)行數(shù)據(jù)內(nèi)容下載，并將下載的數(shù)據(jù)內(nèi)容存儲在指定的目錄下。
4.如權(quán)利要求1~3中任一項(xiàng)所述的網(wǎng)頁分類存儲系統(tǒng)，其特征在于，所述網(wǎng)頁內(nèi)容存儲模塊進(jìn)一步包括：快速頁面存儲模塊，適于將需要快速處理的下載頁面存儲在指定的快速處理目錄下,所述需要快速處理的下載頁面為網(wǎng)站首頁及其直接下層頁面中出現(xiàn)的新頁面。
5.如權(quán)利要求1~4中任一項(xiàng)所述的網(wǎng)頁分類存儲系統(tǒng)，其特征在于，網(wǎng)頁內(nèi)容存儲模塊進(jìn)一步包括：閾值調(diào)節(jié)模塊，適于判斷在預(yù)定時(shí)間內(nèi)對應(yīng)一ID的頁面框架數(shù)量是否累計(jì)達(dá)到所述閾值，若沒有，則將該ID對應(yīng)的閾值以一定的步長遞減。
6.如權(quán)利要求1~5中任一項(xiàng)所述的網(wǎng)頁分類存儲系統(tǒng)，其特征在于，所述頁面框架ID計(jì)算模塊進(jìn)一步包括：哈希計(jì)算模塊，適于采用哈希函數(shù)計(jì)算所述頁面框架，并以哈希值的后n?bit作為頁面框架ID。
7.如權(quán)利要求1~6中任一項(xiàng)所述的網(wǎng)頁分類存儲系統(tǒng)，其特征在于，所述系統(tǒng)還包括：域名目錄創(chuàng)建模塊，適于對于同一站點(diǎn)的不同域名按不同優(yōu)先級建立優(yōu)先級目錄，以所述頁面框架ID為名稱的目錄位于每個(gè)域名下對應(yīng)優(yōu)先級目錄下。
8.如權(quán)利要求1~8中任一項(xiàng)所述的網(wǎng)頁分類存儲系統(tǒng)，其特征在于，所述系統(tǒng)還包括：網(wǎng)頁獲取模塊，適于通過全網(wǎng)搜索獲取網(wǎng)頁，并以站點(diǎn)為單位獲取網(wǎng)頁，同一站點(diǎn)下不同域名的對應(yīng)的網(wǎng)頁存儲在相同的根目錄下。
9.一種網(wǎng)頁分類存儲方法，包括以下步驟：
抽取預(yù)先獲取的網(wǎng)頁的頁面框架，計(jì)算頁面框架ID；
將相同頁面框架ID的頁面框架存儲在以所述頁面框架ID為名稱的目錄下。
10.如權(quán)利要求9所述的網(wǎng)頁分類存儲方法，其特征在于，所述將相同頁面框架ID的頁面框架存儲在以所述頁面框架ID為名稱的目錄下具體包括：
在當(dāng)前子目錄下查找以所述頁面框架ID為名稱的目錄是否存在，若存在，則將頁面框架存儲在相應(yīng)ID的目錄下，若不存在，則創(chuàng)建以所述頁面框架I?D為名稱的目錄，再將頁面框架存儲在相應(yīng)ID的目錄下。
11.如權(quán)利要求9或10所述的網(wǎng)頁分類存儲方法，其特征在于，頁面框架存儲在所述頁面框架ID為名稱的目錄下之后還包括步驟：
統(tǒng)計(jì)所述頁面框架ID為名稱的目錄下頁面框架數(shù)量，若達(dá)到閾值則計(jì)算頁面框架模式，并按計(jì)算出的頁面框架模式對該目錄下的頁面框架對應(yīng)的網(wǎng)頁進(jìn)行數(shù)據(jù)內(nèi)容下載，并將下載的數(shù)據(jù)內(nèi)容存儲在指定的目錄下；若未達(dá)到所述閾值，則繼續(xù)統(tǒng)計(jì)該目錄下頁面框架數(shù)量。
12.如權(quán)利要求9~11中任一項(xiàng)所述的網(wǎng)頁分類存儲方法，其特征在于，將所述需要快速處理的下載頁面存儲在指定的快速處理目錄下,所述需要快速處理的下載頁面為網(wǎng)站首頁及其直接下層頁面中出現(xiàn)的新頁面。
13.如權(quán)利要求9~12中任一項(xiàng)所述的網(wǎng)頁分類存儲方法，其特征在于，判斷在預(yù)定時(shí)間內(nèi)對應(yīng)一ID的頁面框架數(shù)量是否累計(jì)達(dá)到所述閾值，若沒有，則將該ID對應(yīng)的閾值以一定的步長遞減。
14.如權(quán)利要求9~13中任一項(xiàng)所述的網(wǎng)頁分類存儲方法，其特征在于，采用哈希函數(shù)計(jì)算所述頁面框架，并以哈希值的后n?bit作為頁面框架ID。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京奇虎科技有限公司;奇智軟件（北京）有限公司，未經(jīng)北京奇虎科技有限公司;奇智軟件（北京）有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201210376351.3/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
G06F 電數(shù)字?jǐn)?shù)據(jù)處理
G06F17-00 特別適用于特定功能的數(shù)字計(jì)算設(shè)備或數(shù)據(jù)處理設(shè)備或數(shù)據(jù)處理方法
G06F17-10 .復(fù)雜數(shù)學(xué)運(yùn)算的
G06F17-20 .處理自然語言數(shù)據(jù)的
G06F17-30 .信息檢索；及其數(shù)據(jù)庫結(jié)構(gòu)
G06F17-40 .數(shù)據(jù)的獲取和記錄
G06F17-50 .計(jì)算機(jī)輔助設(shè)計(jì)
- 用于處理到遠(yuǎn)程存儲位置的故障恢復(fù)的方法、系統(tǒng)以及程序
- 包括向外擴(kuò)展型存儲系統(tǒng)的存儲系統(tǒng)群及其管理方法
- 一種移動(dòng)存儲系統(tǒng)及其存儲方法
- 存儲系統(tǒng)的數(shù)據(jù)備份與恢復(fù)系統(tǒng)、方法、設(shè)備及存儲介質(zhì)
- 在線遷移異構(gòu)系統(tǒng)數(shù)據(jù)的方法、裝置、設(shè)備和存儲介質(zhì)
- 建立存儲系統(tǒng)伙伴關(guān)系的方法及裝置
- 數(shù)據(jù)處理系統(tǒng)及其操作方法
- 一種容災(zāi)平臺及一種容災(zāi)方法
- 在基于云的存儲系統(tǒng)中服務(wù)I/O操作
- 一種數(shù)據(jù)修復(fù)方法及裝置
