[發(fā)明專利]一種網(wǎng)站訪問排名信息查詢的方法、設(shè)備、系統(tǒng)及介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810914102.2
• 申請日: 2018-08-10
• 公開（公告）號: CN109063158B
• 公開（公告）日: 2021-04-27
• 發(fā)明（設(shè)計）人: 黃友俊;李星;吳建平;金東勛;李威
• 申請（專利權(quán)）人: 賽爾網(wǎng)絡(luò)有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/955
• 代理公司: 中科專利商標代理有限責(zé)任公司 11021
• 代理人: 周天宇

本公開提供了一種網(wǎng)站訪問排名信息的查詢方法，方法包括：Reduce節(jié)點將查詢?nèi)蝿?wù)劃分為多個計算任務(wù)，并將計算任務(wù)分配至Map節(jié)點服務(wù)器；Map節(jié)點服務(wù)器根據(jù)網(wǎng)站域名或網(wǎng)站URL獲取網(wǎng)站訪問記錄信息，并將獲取的網(wǎng)站訪問記錄信息發(fā)送至Reduce節(jié)點；Reduce節(jié)點通過對網(wǎng)站訪問記錄信息進行統(tǒng)計排序獲得網(wǎng)站訪問排名。通過網(wǎng)站域名或網(wǎng)站URL獲取網(wǎng)站訪問記錄信息的方式，用戶可以更高效、準確的統(tǒng)計網(wǎng)站訪問排名，實時監(jiān)測網(wǎng)站訪問量。本公開還提供了一種網(wǎng)站訪問排名信息查詢的電子設(shè)備、一種網(wǎng)站訪問排名信息查詢的系統(tǒng)以及一種計算機可讀介質(zhì)。

技術(shù)領(lǐng)域

本公開涉及大數(shù)據(jù)分析領(lǐng)域，尤其涉及一種網(wǎng)站訪問排名信息查詢的方法、設(shè)備、系統(tǒng)及介質(zhì)。

背景技術(shù)

近年來，隨著網(wǎng)絡(luò)技術(shù)的普及和發(fā)展，中國網(wǎng)民的數(shù)量急劇增長。中國互聯(lián)網(wǎng)絡(luò)中心(CNNIC)日前在京發(fā)布了《第41次中國互聯(lián)網(wǎng)絡(luò)發(fā)展狀況統(tǒng)計報告》，報告顯示，截止2017年12月，中國網(wǎng)名規(guī)模達7.72億，全年共計新增網(wǎng)名4074萬人，互聯(lián)網(wǎng)普及率為55.8％，較2016年底提升2.6個百分點。面對日益增長的網(wǎng)民數(shù)量，作為網(wǎng)絡(luò)服務(wù)商，需要了解網(wǎng)絡(luò)的運行狀況，同時為用戶提供更快更優(yōu)的網(wǎng)絡(luò)環(huán)境，因此，網(wǎng)站瀏覽量監(jiān)控變得尤為重要。

目前，隨著日益增多的網(wǎng)站數(shù)量及用戶量，網(wǎng)站瀏覽量監(jiān)控難度也隨之增大，網(wǎng)站訪問量的實時監(jiān)控，可為網(wǎng)站的運營及維護提供重要保障，而一種高效、準確的統(tǒng)計計算方法則為網(wǎng)站的運維及維護提供了重要的技術(shù)支持，因此，本公開提出一種基于MapReduce算法的網(wǎng)站訪問排名信息的查詢方法。

發(fā)明內(nèi)容

針對現(xiàn)有的技術(shù)難度，本公開提出一種網(wǎng)站訪問排名信息查詢的方法、設(shè)備、系統(tǒng)及介質(zhì)，用過解決日益增多的網(wǎng)站數(shù)量及用戶量引發(fā)的網(wǎng)站瀏覽量監(jiān)控難度增大的問題。

本公開的一個方面提供了一種網(wǎng)站訪問排名信息查詢的方法，包括：Reduce節(jié)點將查詢?nèi)蝿?wù)劃分為多個計算任務(wù)，并將計算任務(wù)分配至Map節(jié)點服務(wù)器；Map節(jié)點服務(wù)器根據(jù)網(wǎng)站域名或網(wǎng)站URL獲取網(wǎng)站訪問記錄信息，并將獲取的網(wǎng)站訪問記錄信息發(fā)送至Reduce節(jié)點；Reduce節(jié)點通過對網(wǎng)站訪問記錄信息進行統(tǒng)計排序獲得網(wǎng)站訪問排名。

可選地，Map節(jié)點服務(wù)器根據(jù)網(wǎng)站域名或網(wǎng)站URL獲取網(wǎng)站訪問記錄信息，包括：Map節(jié)點服務(wù)器獲取本地HTTP日志數(shù)據(jù)；Map節(jié)點服務(wù)器根據(jù)網(wǎng)站域名或網(wǎng)站URL查詢本地HTTP日志數(shù)據(jù)中該網(wǎng)站域名或網(wǎng)站URL對應(yīng)網(wǎng)站的網(wǎng)站訪問數(shù)據(jù)；Map節(jié)點服務(wù)器對查詢的網(wǎng)站訪問數(shù)據(jù)與網(wǎng)站域名進行過濾獲取網(wǎng)站訪問記錄信息。

可選地，采用字符串匹配算法對網(wǎng)站訪問數(shù)據(jù)與網(wǎng)站域名進行過濾獲取訪問記錄信息，包括：將網(wǎng)站訪問數(shù)據(jù)和網(wǎng)站域名存放到服務(wù)器緩沖文件中，并將緩沖文件存放到數(shù)組中，數(shù)組包括模式字符串，每個模式字符串對應(yīng)一條瀏覽記錄；將模式字符串與原始字符串進行比較，若原始字符串中能找到與模式字符串相同的部分，則獲取模式字符串對應(yīng)的瀏覽記錄訪問記錄。

可選地，模式字符串與原始字符串進行比較時，若匹配失敗，原始字符串比較位置不回溯，通過移動模式字符串的位置重新進行比較。

可選地，Reduce節(jié)點通過對網(wǎng)站訪問記錄信息進行統(tǒng)計排序獲得網(wǎng)站訪問排名，包括：Reduce節(jié)點根據(jù)網(wǎng)站訪問記錄信息，以網(wǎng)站URL為單位統(tǒng)計網(wǎng)站訪問次數(shù)，再對網(wǎng)站訪問次數(shù)進行排序，獲得網(wǎng)站訪問排名。

可選地，若Map節(jié)點服務(wù)器無法完成計算任務(wù)，則Reduce節(jié)點自動調(diào)度Map節(jié)點服務(wù)器最近的Map節(jié)點服務(wù)器完成計算任務(wù)。

可選地，將網(wǎng)站訪問排名通過網(wǎng)頁顯示給用戶，其中，該網(wǎng)頁被復(fù)制為多個鏡像，并為每個鏡像分配一個域名，以使用戶通過不同的域名訪問不同的鏡像。

本公開另一方面提供一種網(wǎng)站訪問排名信息查詢的電子設(shè)備，包括：處理器；存儲器，其存儲有計算機可執(zhí)行程序，該程序在被處理器執(zhí)行時，使得處理器執(zhí)行如本公開的網(wǎng)站訪問排名信息查詢的方法。