[發(fā)明專利]網(wǎng)頁源碼數(shù)據(jù)處理方法、裝置及計算機設(shè)備

在審

• 申請?zhí)枺?/td>: 202010075085.5
• 申請日: 2020-01-22
• 公開（公告）號: CN111291083A
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計）人: 范金喬;沈鵬;李國輝
• 申請（專利權(quán)）人: 奇安信科技集團股份有限公司;網(wǎng)神信息技術(shù)（北京）股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/28;G06F16/957
• 代理公司: 北京英特普羅知識產(chǎn)權(quán)代理有限公司 11015
• 代理人: 鄧小玲;王勇

本發(fā)明公開了一種網(wǎng)頁源碼數(shù)據(jù)處理方法、裝置、計算機設(shè)備及可讀存儲介質(zhì)，屬于計算機技術(shù)領(lǐng)域。本發(fā)明的網(wǎng)頁源碼數(shù)據(jù)處理方法包括：獲取網(wǎng)頁源碼數(shù)據(jù)；將所述網(wǎng)頁源碼數(shù)據(jù)存儲至多級緩存中，其中，不同級別的緩存用于存儲不同時間段內(nèi)的網(wǎng)頁源碼數(shù)據(jù)，不同級別的緩存的類型不同；將所述多級緩存中的其中一級緩存中存儲時間超過預(yù)設(shè)時間的網(wǎng)頁源碼數(shù)據(jù)轉(zhuǎn)存至預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫中。本發(fā)明可以提高數(shù)據(jù)查詢效率。

技術(shù)領(lǐng)域

本發(fā)明涉及信息安全技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)頁源碼數(shù)據(jù)處理方法、裝置及計算機設(shè)備。

背景技術(shù)

現(xiàn)有技術(shù)中，為了監(jiān)測網(wǎng)站的狀態(tài)，需要對網(wǎng)站的網(wǎng)頁源碼進行存儲，以便可以根據(jù)存儲的網(wǎng)頁源碼來查詢網(wǎng)頁是否被攻擊以及攻擊事件等。

通常，我們一般是通過單一的數(shù)據(jù)庫來存儲網(wǎng)頁源碼數(shù)據(jù)，然而，隨著存儲數(shù)據(jù)量的增多，單一數(shù)據(jù)庫存儲的方式在對數(shù)據(jù)查詢時查詢速度將變得很慢，使得數(shù)據(jù)的查詢效率較低。

發(fā)明內(nèi)容

本發(fā)明實施例的目的是提供一種網(wǎng)頁源碼數(shù)據(jù)處理方法、裝置、計算機設(shè)備及計算機可讀存儲介質(zhì)，用于解決現(xiàn)有在查詢網(wǎng)頁源碼數(shù)據(jù)時，查詢效率較低的問題。

本發(fā)明提供了一種網(wǎng)頁源碼數(shù)據(jù)處理方法，包括：

獲取網(wǎng)頁源碼數(shù)據(jù)；

將所述網(wǎng)頁源碼數(shù)據(jù)存儲至多級緩存中，其中，不同級別的緩存用于存儲不同時間段內(nèi)的網(wǎng)頁源碼數(shù)據(jù)，不同級別的緩存的類型不同；

將所述多級緩存中的其中一級緩存中存儲時間超過預(yù)設(shè)時間的網(wǎng)頁源碼數(shù)據(jù)轉(zhuǎn)存至預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫中。

可選地，所述多級緩沖包括第一級緩存、第二級緩存，所述將所述網(wǎng)頁源碼數(shù)據(jù)存儲至多級緩存中的步驟包括：

將第一預(yù)設(shè)時間段內(nèi)的網(wǎng)頁源碼數(shù)據(jù)存儲至第一級緩存中，將第二預(yù)設(shè)時間段內(nèi)的網(wǎng)頁源碼數(shù)據(jù)存儲至第二級緩存中，所述第二預(yù)設(shè)時間段包括所述第一預(yù)設(shè)時間段。

可選地，所述將所述多級緩存中的其中一級緩存中存儲時間超過預(yù)設(shè)時間的網(wǎng)頁源碼數(shù)據(jù)轉(zhuǎn)存至預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫中的步驟包括：

將所述第二級緩存中存儲時間超過預(yù)設(shè)時間的網(wǎng)頁源碼數(shù)據(jù)轉(zhuǎn)存至預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫中。

可選地，所述第一級緩存為redis數(shù)據(jù)庫，所述第二級緩存為mongo數(shù)據(jù)庫，所述非關(guān)系型數(shù)據(jù)庫為hbase數(shù)據(jù)庫。

可選地，所述redis數(shù)據(jù)庫、所述mongo數(shù)據(jù)庫以及所述hbase數(shù)據(jù)庫中存儲數(shù)據(jù)的鍵key包括三段，所述三段為網(wǎng)站域名、URL哈希值以及時間戳。

可選地，所述網(wǎng)頁源碼數(shù)據(jù)處理方法還包括：

接收數(shù)據(jù)查詢請求；

響應(yīng)于所述數(shù)據(jù)查詢請求，根據(jù)所述數(shù)據(jù)查詢請求依次查詢所述redis數(shù)據(jù)庫、所述mongo數(shù)據(jù)庫以及所述hbase數(shù)據(jù)庫，獲取與所述查詢請求對應(yīng)的網(wǎng)頁源碼數(shù)據(jù)。

本發(fā)明還提供了一種網(wǎng)頁源碼數(shù)據(jù)處理裝置，包括：

獲取模塊，用于獲取網(wǎng)頁源碼數(shù)據(jù)；

存儲模塊，用于將所述網(wǎng)頁源碼數(shù)據(jù)存儲至多級緩存中，其中，不同級別的緩存用于存儲不同時間段內(nèi)的網(wǎng)頁源碼數(shù)據(jù)，不同級別的緩存的類型不同；

轉(zhuǎn)存模塊，用于將所述多級緩存中的其中一級緩存中存儲時間超過預(yù)設(shè)時間的網(wǎng)頁源碼數(shù)據(jù)轉(zhuǎn)存至預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫中。

可選地，所述多級緩沖包括第一級緩存、第二級緩存，所述存儲模塊還用于將第一預(yù)設(shè)時間段內(nèi)的網(wǎng)頁源碼數(shù)據(jù)存儲至第一級緩存中，將第二預(yù)設(shè)時間段內(nèi)的網(wǎng)頁源碼數(shù)據(jù)存儲至第二級緩存中，所述第二預(yù)設(shè)時間段包括所述第一預(yù)設(shè)時間段。