[發明專利]一種基于數據流的異常用戶檢索系統

有效

• 申請號: 201811136056.4
• 申請日: 2018-09-28
• 公開（公告）號: CN109299365B
• 公開（公告）日: 2019-08-13
• 發明（設計）人: 王平輝;齊逸巖;賈鵬;孫飛揚;王翔宇;曾菊香;許諾;蘭林;管曉宏;陶敬;韓婷
• 申請（專利權）人: 西安交通大學深圳研究院
• 主分類號: G06F16/9535
• 分類號: G06F16/9535
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

本發明提供一種基于數據流的異常用戶檢索系統，使用原創的SimCard算法通過對輸入的“用戶?興趣”數據流(如通話網絡，流量網絡，社交網絡好友關系等)進行實時的監控，并根據使用者給定的種子異常用戶，反饋與之相似的用戶，并根據提前給定的條件過濾出其中的異常用戶；包括數據流采樣，相似用戶查詢及異常用戶過濾這三個子系統。本發明可用于數據流動態采樣；可用于估計某一用戶興趣集合的基數；可用于估計兩個用戶之間的興趣集合的交集大小；也可用于估計兩個用戶之間的相似程度；還可以根據給定的種子異常用戶進行相似異常用戶檢索等。

技術領域

本發明屬于數據挖掘技術領域，特別涉及一種基于數據流的異常用戶檢索系統。

背景技術

隨著互聯網技術和通信技術的應用與發展，每天都有大量數據產生。這些數據大都以數據流的形式產生，例如，ip地址與網站之間傳遞的數據包。流中的元素通常由一條從用戶(ip地址)指向興趣(網站)的鏈接構成。通過對數據流進行監控和分析，可以幫助我們更好的進行異常檢測及興趣推薦等任務。

而隨著需要處理的數據也越來越多，很多數據流的大小是我們不可預知的，完全地存儲這些數據需要耗費大量的物力人力，因此人們大都對流數據進行動態采樣，并根據采樣后的結果對原數據流進行分析。

這里我們關注的是實時地處理大規模數據流，例如網絡流量、大型社交網絡中的消息等；并根據系統使用者給出的種子異常用戶，快速的檢索與之相似的異常用戶。但是由于數據量地巨大和設備資源地限制，我們并不能完全地存儲每一條數據。因此，主流方法通常采用采樣的方式來得到一個或多個采樣數組，并在此基礎上對原數據流進行分析。

然而，主流方法用在實際網絡流中通常會產生很多問題。一是，這些方法一般只能估計某一種統計量。若使用者希望使用多種統計量來檢索和判斷異常，常用的方式是組合使用這些方法；但是，這樣會生成多組采樣數組，造成內存或硬盤空間的浪費。二是，這些方法通常采樣或檢索速度較慢，不能滿足實時的對大規模數據流的處理需求。

發明內容

為了克服上述現有技術的缺點，本發明的目的在于提供一種基于數據流的異常用戶檢索系統，與傳統方法相比，本發明的一項優勢在于，能夠快速檢索大規模數據流中的相似異常用戶，本發明的另一項優勢在于，解決了常規方法的內存冗余問題。本發明的又一項優勢在于，使用原創的SimCard算法，提高了檢索精度。

為了實現上述目的，本發明采用的技術方案是：

一種基于數據流的異常用戶檢索系統，包括：

數據流采樣子系統，對輸入數據流中的“用戶--興趣”二元組進行動態采樣，以數組的形式進行存儲；

相似用戶檢索子系統，當使用者提供某一或某些種子用戶后，在上述采樣的數組中找出與之興趣集合相似的用戶；

異常用戶過濾子系統，利用上述采樣的數組，通過對相似用戶進行統計分析，過濾出其中的異常用戶。

所述數據流采樣子系統應用SimCard算法對輸入數據流Γ中“用戶-興趣”二元組(u,w)進行采樣，并以用戶id建立索引，其中u表示用戶，w表示用戶u的興趣。

所述SimCard算法中，將采樣數組定義為{S_u}_u∈U，其中U為全體用戶的集合，對于每一個用戶u∈U，其對應的采樣數組大小為|S_u|＝k，元素s_u,i∈S_u，i＝1,2,...,k為取值在0到1之間的實數，并初始化s_u,i＝1。

定義一個哈希函數：H，將二元組(u,w)中的w隨機映射到(0,1)區間，該哈希函數映射出的值滿足均勻分布性質。