[發明專利]一種數據的過濾方法、裝置、電子設備及存儲介質

在審

• 申請號: 201811386470.0
• 申請日: 2018-11-20
• 公開（公告）號: CN109558547A
• 公開（公告）日: 2019-04-02
• 發明（設計）人: 張志遠;王生玉;王雪松;石志中;張俊杰
• 申請（專利權）人: 北京銳安科技有限公司;青海省公安廳
• 主分類號: G06F16/9537
• 分類號: G06F16/9537;G06F16/955
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數據的過濾方法，其特征在于，所述方法包括：

獲取待過濾的數據；

利用預先訓練好的過濾模型對所述數據進行過濾。

2.根據權利要求1所述的方法，其特征在于，利用預先訓練好的過濾模型對所述數據進行過濾，包括：

利用預先訓練好的過濾模型確定所述待過濾數據是無效信息或有效信息；

如果是無效信息，則利用預設過濾規則確定所述待過濾數據是無效信息或有效消息；

當利用預設過濾規則確定所述待過濾數據是無效信息時，將所述待過濾數據存入無效信息數據庫。

3.根據權利要求1所述的方法，其特征在于，所述數據是HTTP協議數據，所述過濾模型訓練的樣本數據包括預設數量的URL數據，其中，屬于同一URL數據的數量是均勻的。

4.根據權利要求3所述的方法，其特征在于，所述過濾模型的訓練過程，包括：

基于所述樣本數據訓練過濾模型；

計算所述過濾模型的效果評價參數，其中，所述效果評價參數包括：準確率、錯檢率和/或召回率；

直至所述效果評價參數滿足預設閾值，則所述過濾模型訓練完成。

5.根據權利要求4所述的方法，其特征在于，計算所述過濾模型的效果評價參數，包括：對所述過濾模型采用交叉驗證的方式計算效果評價參數。

6.根據權利要求1所述的方法，其特征在于，利用預先訓練好的過濾模型對所述數據進行過濾之后，所述方法還包括：

根據對所述數據的過濾結果對所述過濾模型進行優化。

7.一種數據的過濾裝置，其特征在于，包括：

數據獲取模塊，用于獲取待過濾的數據；

數據過濾模塊，用于利用預先訓練好的過濾模型對所述數據進行過濾。

8.根據權利要求7所述的裝置，其特征在于，所述數據過濾模塊，具體用于：

信息初始確定模塊，用于利用預先訓練好的過濾模型確定所述待過濾數據是無效信息或有效信息；

無效信息確認模塊，用于如果是無效信息，則利用預設過濾規則確定所述待過濾數據是無效信息或有效消息；

無效數據存儲模塊，用于當利用預設過濾規則確定所述待過濾數據是無效信息時，將所述待過濾數據存入無效信息數據庫。

9.一種電子設備，其特征在于，所述電子設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-6中任一所述的一種數據的過濾方法。

10.一種包含計算機可執行指令的存儲介質，所述計算機可執行指令在由計算機處理器執行時用于執行如權利要求1-6中任一所述的一種數據的過濾方法。