[發明專利]HTTP主動測量中仿真真實用戶負載的方法及系統

有效

• 申請號: 201310641674.5
• 申請日: 2013-12-03
• 公開（公告）號: CN103678544A
• 公開（公告）日: 2014-03-26
• 發明（設計）人: 張駿;張廣興;謝高崗;徐川
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

技術領域

本發明涉及計算機網絡測量領域，特別涉及一種網頁隨機游走主動測量方法及系統。

背景技術

由于萬維網業務在因特網應用中的重要地位，Web流量的特征和HTTP協議的性能分析一直以來就是研究的熱點。常用的HTTP業務性能分析方法包括被動分析法和主動測量法：被動分析法是通過分析服務器或客戶端收集的大量包記錄，從而建立HTTP業務不同層次相關參數的特征模式，如網頁連接數、連接大小等；主動測量法是通過主動探測的方法來模擬不同負載與協議實現的HTTP業務，從而比較不同協議選項的性能差異，改進協議設計與協議實現。由于被動分析方法主要使用服務器或客戶端日志信息和包記錄，因而對于檢驗HTTP協議性能和Web流量特征有很多好處，但對端到端路徑HTTP業務性能分析以及故障發現來說，缺乏足夠的靈活性。而使用主動測量法可以靈活地模擬HTTP業務過程，通過HTTP業務響應及時地給出當前網絡的HTTP性能變化，檢測可能出現的性能異常并及時做出調整。

傳統的HTTP主動測量技術往往是簡單地重復對服務器的上一個或多個資源的請求，其業務流量的形式單一，對服務器產生的負載壓力比較片面。而真實用戶的業務請求有一定的規律，比如：高質量的網頁會獲得比低質量的網頁更多的請求。但傳統的測量技術不能仿真出這種真實的業務負載，而是片面地產生單一的資源負載來衡量HTTP業務性能，因而并不能準確反映在真實用戶負載下的HTTP業務性能的情況。因此，需要有一種更好的能仿真真實用戶負載的HTTP主動測量技術，來準確地反映HTTP業務性能。

本發明用于對一指定網站進行HTTP測量。只需要輸入網站的主頁，通過本方法就可以對該網站的各個網頁分別產生近似于真實用戶訪問的不同權值大小的負載，從而能對HTTP業務性能進行準確和全面的分析。以下對本發明所用的一些技術做簡要介紹。

網絡爬蟲是搜索引擎的關鍵技術之一，它是一種計算機程序，不停地從互聯網中下載網頁，分析并抽取鏈接，并根據一定的爬行算法來維護下載隊列以發現和搜集信息。網絡爬蟲是通過網頁的鏈接地址來尋找網頁，從網站某一個網頁（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那么網絡爬蟲就可以用這個原理把互聯網上所有的網頁都抓取下來。

著名的PageRank算法（以下稱為網頁級別算法）是L.Page,S.Brin提出的，網頁級別算法的基本思想是：一個網頁的重要性由它被引用的次數相關，被其他網頁特別是那些已經被認定為“重要”的網頁引用的次數越多也就重要。該算法在Google搜索引擎對查詢結果排序的應用中有著重要的地位。

網頁級別除了考慮到入鏈數量的影響，還參考了網頁質量因素，兩者相結合獲得了更好的網頁重要性評價標準。如果一個網頁節點接收到的其他網頁指向的入鏈數量越多，那么這個網頁越重要。指向網頁的入鏈質量不同，質量高的網頁會通過鏈接向其他網頁傳遞更多的權重。所以越是質量高的網頁指向某網頁，則該網頁越重要。網頁級別算法剛開始賦予每個網頁相同的重要性得分，通過迭代遞歸計算來更新每個網頁節點的網頁級別得分，直到得分穩定為止。

互聯網用戶在上網時，往往有類似的網絡行為：輸入網址，瀏覽網頁，然后順著網頁的鏈接不斷打開新的網頁。隨機游走模型就是針對瀏覽網頁的用戶行為建立的抽象概念模型。

在最初階段，用戶打開瀏覽器瀏覽第1個網頁，用戶在看完網頁后，對網頁內某個鏈接指向的網頁感興趣，于是點擊該鏈接，進入第2個網頁。用戶不斷重復以上過程，在相互有鏈接指向的網頁之間跳轉。如果對于某個網頁所包含的所有鏈接，用戶都沒有興趣繼續瀏覽，則可能會在瀏覽器中輸入另外一個網址，直接到達該網頁，這個行為稱為遠程跳轉。隨機游走模型就是一個對直接跳轉和遠程跳轉兩種用戶瀏覽行為進行抽象的概念模型。

發明內容

在HTTP主動測量中，針對傳統測量方式不能有效仿真真實用戶負載的問題，本發明的目的在于，提供一種基于網頁級別算法的HTTP主動測量中仿真真實用戶負載的方法，能對某網站的各個網頁分別產生近似于真實用戶訪問的不同權值大小的負載，從而能對HTTP業務性能進行準確和全面的分析。

為實現上述目的，本發明所提出的HTTP主動測量中仿真真實用戶負載的方法，其特征在于，包括以下步驟：