[發明專利]一種基于網絡流的Web用戶點擊目標識別的方法

有效

• 申請號: 201810728059.0
• 申請日: 2018-07-05
• 公開（公告）號: CN108989411B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 費星瑞;謝逸;譚新城
• 申請（專利權）人: 中山大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/851;H04L12/24
• 代理公司: 廣州圣理華知識產權代理有限公司 44302
• 代理人: 頓海舟

本發明提出一種基于網絡流的Web用戶點擊目標識別的方法，其目的是使用一種新的基于過程的方法來區分用戶點擊和自動請求，從而實現有效的識別用戶點擊。本發明通過隱馬爾科夫模型（HMM）實現了上述目的。在本發明中，使用當前請求與前后請求時間差、當前請求與后續多個請求兩兩之間的時間差作為觀測序列，從而達到建模或識別的目的。本發明所使用的方法基于過程，它克服了現有方法只在數據點層面進行識別的缺點，通過描述用戶點擊和自動請求產生的過程來進行識別，且適用于加密與非加密HTTP流。在相同條件下，基于本發明設計的方法在識別效果上優于現有方法。

技術領域

本發明涉及網絡技術領域，更具體地，涉及一種基于網絡流的Web用戶點擊目標識別的方法。

背景技術

萬維網(World Wide Web,WWW)是一種基于超文本傳輸協議(HyperText TransferProtocol，HTTP)的分布式信息系統。它采用瀏覽器-服務器 (Browser-Server，BS)架構實現跨平臺的全球性動態信息交互。在這個系統中，服務器端負責文件、數據的存取管理以及為客戶提供基于Web的服務，客戶端通過瀏覽器實現所請求的服務及應用。

傳統的Web服務主要用于提供網頁信息的訪問，例如：網站訪問、電子商務/政務、電子銀行、電子郵件、云服務等。隨著瀏覽器功能的日益強大，以及 Web服務具有穿透常規防火墻的能力等原因，越來越多的網絡服務與應用從以往的“獨立運行模式”遷移到BS模式，通過Web的方式為位于防火墻內的用戶提供服務，包括：網頁游戲、在線多媒體、社交應用等。在這種趨勢下，了解并掌握用戶的Web訪問行為規律、偏好與習慣具有重要意義，它不但可以用于提高與改善各種Web服務的質量與性能，而且可以為Web威脅的檢測與防御提供必要的參考。

當用戶使用Web服務時，客戶端會向服務端發起請求，創建一個TCP連接，指定端口號，然后連接到服務器工作。服務器在這個端口監聽客戶端請求，一旦監聽到請求，并分析其類型后，服務器會向客戶端返回一個響應狀態，同時會返回特定的數據內容，如請求的資源，錯誤代碼，其它狀態信息等。

這種請求若由用戶行為所觸發，則被稱作用戶點擊，包括但不限于點擊頁面 URL鏈接、在瀏覽器地址欄鍵入URL以及使用瀏覽器的書簽功能。現代Web 頁面非常復雜，包含許多HTML文件、框架、JavaScript腳本、多媒體對象、動態生成的內容，對這些內容的請求，大部分是由瀏覽器自動發出的，所以這種請求被稱作自動請求。此外，一些非交互的應用程序(如云存儲、操作系統更新等) 也會產生自動請求。

由于Web是一種用戶驅動型服務，實現上述目標的主要手段是識別出用戶的點擊流序列，通過點擊流進一步挖掘、分析用戶的Web訪問行為規律。然而，由于用戶點擊產生的Web對象和自動請求產生的Web對象常常混雜在一起，而且現代網站的高度復雜性也導致自動請求產生的Web對象在數量上遠遠大于用戶點擊所產生的Web對象數量。因此，在現有技術條件下，從Web流中有效地識別用戶點擊的觸發對象是當前面臨的主要挑戰。

現有識別用戶點擊的方法按照數據源主要可以分為三類：1、服務器端的用戶點擊識別，2、客戶端的用戶點擊識別，3、網絡側的用戶點擊識別。

1、服務器端的用戶點擊識別

當Web服務器的資源被請求時，服務器會自動生成日志記錄，這些記錄常被用于分析用戶行為，通過對這些日志進行分析，可以識別用戶點擊。HTTP(S) 要求從Web服務器請求的每個文件都有一個單獨的鏈接，通過該鏈接可以訪問到該文件或其對應的資源，所以當用戶點擊發生時，該點擊請求的資源以及自動請求的資源的相關記錄均會被記載在服務器日志中。