[發明專利]基于云計算的移動終端不良信息過濾方法及系統

有效

• 申請號: 201810071433.4
• 申請日: 2018-01-25
• 公開（公告）號: CN108319672B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 孫知信;邢府緯;駱冰清
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06V10/764
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 姚姣陽

1.基于云計算的移動終端不良信息過濾方法，其特征在于，包括如下步驟：

S1、客戶端根據自定義過濾規則和網站在線檢測過濾待檢測的網頁，再將本地的過濾規則和待檢測的網頁發送至云端；

S2、待檢測的網頁按照預先設定的URL過濾和關鍵字過濾進行初步過濾；

S3、對初步過濾后的網頁進行預處理，并輸入至云計算的分類器；

S4、分類器通過并行架構計算出待檢測的網頁上信息之間的關聯關系，并對信息進行初步分類，再根據預設好的閾值判斷是否為不良網站；

S5、經過初步分類的信息通過決策樹算法進行二次分類，識別待檢測的網頁的類型；

所述步驟S4中初步分類包括網頁信息分析階段和網頁信息分類階段；

網頁信息分析階段的具體步驟為：

從分布式文件系統中讀取訓練集，并存放到分布式數據集中；根據預先定義好的參數將訓練集均勻分割為若干個小訓練集，采用分布式操作計算分割后的小訓練集與待測樣本之間的距離，獲取若干個鄰近的候選樣本，根據每個小訓練集與候選樣本之間的距離，獲取每個小訓練集最鄰近的候選樣本；

網頁信息分類階段的具體步驟為：

匯總網頁信息分析階段獲取的每個小訓練集最相鄰的候選樣本，以加權的方式將所有最鄰近的候選樣本中加權值最高的一類作為訓練集的最終分類。

2.根據權利要求1所述的基于云計算的移動終端不良信息過濾方法，其特征在于，所述自定義過濾規則是手動設置黑白名單或所需屏蔽的關鍵字，網站在線檢測是通過識別待檢測的網站的URL和文本內容進行過濾。

3.根據權利要求1所述的基于云計算的移動終端不良信息過濾方法，其特征在于，所述客戶端通過網絡內容檢測請求控制模塊向云端發起請求，將本地的自定義過濾規則傳輸到云端更新，再向云端傳輸待檢測的網頁信息。

4.根據權利要求1所述的基于云計算的移動終端不良信息過濾方法，其特征在于，所述URL過濾為在云端設置已知不良網站的黑名單和已認證網站的白名單，在黑名單和白名單中查找是否包含待檢測的網頁網站，所述關鍵字過濾為將待檢測的網頁中的文本內容與預先設置的關鍵字實時對比，當匹配數量達到設定閾值后進行過濾。

5.根據權利要求1所述的基于云計算的移動終端不良信息過濾方法，其特征在于，所述步驟S3中對初步過濾后的網頁進行預處理包括文本預處理和圖像預處理，所述文本預處理為使用Libpcap函數包抓取網頁的文本內容，去除HTML標簽及CSS樣式，再采用統計模型中文分詞，過濾分詞出的無幫助詞匯；所述圖像預處理為對待測圖形去噪、分割以及邊緣分割，再通過YCbCr色彩模型對分割后的圖形進行二值化，提取膚色像素，獲取膚色像素的比例以及圖片的紋理特征，并通過人臉識別估算人臉的輪廓面積。

6.根據權利要求1所述的基于云計算的移動終端不良信息過濾方法，其特征在于，所述步驟S4中分類器為并行KNN分類過濾器，所述初步分類包括網頁信息分析階段和網頁信息分類階段。

7.根據權利要求6所述的基于云計算的移動終端不良信息過濾方法，其特征在于，所述網頁信息分析階段的具體步驟為：

從分布式文件系統中讀取訓練集，并存放到分布式數據集中；

根據預先定義好的參數將訓練集均勻分割為若干個小訓練集，并存儲到內存中；采用分布式操作計算分割后的小訓練集與待測樣本之間的距離，獲取若干個鄰近的候選樣本；

根據每個小訓練集與候選樣本之間的距離，獲取每個小訓練集最鄰近的候選樣本。

8.根據權利要求6所述的基于云計算的移動終端不良信息過濾方法，其特征在于，所述網頁信息分類階段的具體步驟為：

匯總網頁信息分析階段獲取的每個小訓練集最鄰近的候選樣本；

以加權的方式將所有最鄰近的候選樣本中加權值最高的一類作為訓練集的最終分類。