[發明專利]基于DPI大數據分析的信息推送方法和系統

在審

• 申請號: 201610539302.5
• 申請日: 2016-07-11
• 公開（公告）號: CN107608980A
• 公開（公告）日: 2018-01-19
• 發明（設計）人: 趙鈞
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 孫寶海

1.一種基于DPI大數據分析的信息推送方法，其特征在于，包括：

基于深度包檢測DPI技術獲取用戶數據包；

將所述用戶數據包解析為網頁文本；

根據預定算法提取所述網頁文本中多個關鍵詞；

計算包含所述關鍵詞的網頁和推送信息主題詞的相似度；

當所述相似度大于閾值時，向訪問所述網頁的用戶推送與所述主題詞相關的信息。

2.根據權利要求1所述的方法，其特征在于，所述根據預定算法提取所述網頁文本中多個關鍵詞包括：

根據詞頻TF-逆向文件頻率IDF算法計算所述網頁文本中的詞語的TF-IDF值；

對所述TF-IDF值由大到小進行排序；

獲取前N個TF-IDF值對應的詞語作為關鍵詞。

3.根據權利要求2所述的方法，其特征在于，所述根據TF-IDF算法計算所述網頁文本中的詞語的TF-IDF值包括：

預先基于DPI技術采集用戶訪問網頁，生成URL-詞頻構成的語料庫；

根據所述語料庫計算所述網頁文本中的詞語的IDF值；

根據所述網頁文本中的詞語的IDF值獲取所述網頁文本中的詞語的TF-IDF值。

4.根據權利要求3所述的方法，其特征在于，所述預先基于DPI技術采集用戶訪問網頁，生成URL-詞頻構成的語料庫包括：

預先基于DPI技術采集用戶訪問網頁；

通過限制所述用戶訪問網頁的大小、自定義停用詞和/或將所述用戶訪問網頁中出現次數小于閾值的詞語剔除后，生成所述語料庫。

5.根據權利要求3所述的方法，其特征在于，所述計算包含所述關鍵詞的網頁和推送信息主題詞的相似度包括：

根據TF-IDF算法計算所述語料庫中包含所述推送信息主題詞的網頁中所述關鍵詞的TF-IDF值；

將計算出的包含每個推送信息主題詞的網頁中每個關鍵詞的TF-IDF值相加作為包含所述關鍵詞的網頁和推送信息主題詞的相似度。

6.一種基于DPI大數據分析的信息推送系統，其特征在于，包括：

數據采集模塊，用于基于DPI技術獲取用戶數據包；

數據包解析模塊，用于將所述用戶數據包解析為網頁文本；

關鍵詞提取模塊，用于根據預定算法提取所述網頁文本中多個關鍵詞；

相似度計算模塊，用于計算包含所述關鍵詞的網頁和推送信息主題詞的相似度；

信息推送模塊，用于當所述相似度大于閾值時，向訪問所述網頁的用戶推送與所述主題詞相關的信息。

7.根據權利要求6所述的系統，其特征在于，所述關鍵詞提取模塊用于根據詞頻-逆向文件頻率TF-IDF算法計算所述網頁文本中的詞語的TF-IDF值；對所述TF-IDF值由大到小進行排序；獲取前N個TF-IDF值對應的詞語作為關鍵詞。

8.根據權利要求7所述的系統，其特征在于，還包括：

語料庫管理模塊，用于預先基于DPI技術采集用戶訪問網頁，生成URL-詞頻構成的語料庫；

所述關鍵詞提取模塊還用于根據所述語料庫計算所述網頁文本中的詞語的IDF值；根據所述網頁文本中的詞語的IDF值獲取所述網頁文本中的詞語的TF-IDF值。

9.根據權利要求8所述的系統，其特征在于，所述語料庫管理模塊還用于預先基于DPI技術采集用戶訪問網頁；通過限制所述用戶訪問網頁的大小、自定義停用詞和/或將所述用戶訪問網頁中出現次數小于閾值的詞語剔除后，生成所述語料庫。

10.根據權利要求8所述的系統，其特征在于，所述相似度計算模塊用于根據TF-IDF算法計算所述語料庫中包含所述推送信息主題詞的網頁中所述關鍵詞的TF-IDF值；將計算出的包含每個推送信息主題詞的網頁中每個關鍵詞的TF-IDF值相加作為包含所述關鍵詞的網頁和推送信息主題詞的相似度。