[發明專利]惡意文件檢測模型的訓練系統、方法、設備、介質及平臺

有效

• 申請號: 202210076537.0
• 申請日: 2022-01-24
• 公開（公告）號: CN114091029B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 徐敬蘅;章明星;位凱志;劉彥南;顧立明;古亮
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F21/56
• 分類號: G06F21/56;G06N20/00
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 夏歡

本發明公開了一種惡意文件檢測模型的訓練系統、方法、設備、介質及平臺；在本方案中，調度器按照惡意文件檢測模型訓練過程接收多個訓練子階段任務，并通過目標工作單元根據該任務執行對應的處理操作，整合單元將各個目標工作單元的執行結果進行整合，以便于目標工作單元在執行后續訓練子階段任務時使用，或者通過整合得到訓練后的最終惡意文件檢測模型。可見，本方案通過分布式訓練系統對模型進行訓練的方式，可讓分布式集群中部署在不同服務器的各目標工作單元并行處理各任務，從而提升模型的訓練速度；該分布式訓練方式還可根據樣本總量的增加擴展工作單元的數量，從而在同等時間內能使用更多的樣本對模型進行訓練，進而提高模型訓練效果。

技術領域

本發明涉及計算機安全技術領域，更具體地說，涉及一種惡意文件檢測模型的訓練系統、方法、設備、介質及平臺。

背景技術

近年來，隨著人工智能在各個領域的廣泛應用，誕生了許多執行數據處理任務的模型，并且這些模型均基于單服務器運行，但是隨著樣本量及單服務器硬件資源限制，這種基于單服務器的訓練方式會存在較多問題。以病毒查殺技術領域為例，傳統病毒查殺引擎在采用逆向反編譯技術或特征碼靜態掃描技術提取出相關特征模塊后，大多基于專家系統進行模式匹配判定文件是否感染病毒，該方式檢出率較低，因此目前通過基于機器學習算法的惡意文件檢測模型對文件進行處理，該方式極大的提升了病毒文件的檢出率。然而隨著病毒庫樣本量的增加及單服務器硬件資源限制，基于單服務器訓練的惡意文件檢測模型很難承載日益增長的計算任務，在模型處理的樣本量，及模型訓練速度上均受到較大限制，進而導致學習模型的速度及模型效果無法滿足產品需求。

發明內容

本發明的目的在于提供一種惡意文件檢測模型的訓練系統、方法、設備、介質及平臺，以提高惡意文件檢測模型的訓練速度及訓練效果。

為實現上述目的，本發明提供的一種惡意文件檢測模型的分布式訓練系統，所述分布式訓練系統包括：

調度器、分布式集群及整合單元，所述分布式集群包括若干個工作單元；

所述調度器用于按照惡意文件檢測模型的訓練過程，依次接收多個訓練子階段任務；其中，每個訓練子階段任務對應惡意文件檢測模型訓練的一子階段；

所述調度器用于每接收到一訓練子階段任務，在分布式集群中確定用于執行所述訓練子階段任務的目標工作單元，并向每個目標工作單元分發所述訓練子階段任務；其中，至少有兩個目標工作單元分別位于不同的服務器；

所述目標工作單元用于接收所述調度器分發的所述訓練子階段任務，并根據所述訓練子階段任務執行對應的處理操作；

所述整合單元用于接收各個目標工作單元執行完訓練子階段任務之后的結果，并將各個結果進行整合，以便于目標工作單元在執行后續訓練子階段任務時使用，或者通過整合得到訓練后的最終惡意文件檢測模型。

其中，所述訓練子階段任務包括：惡意樣本文件下載與特征提取任務；

相應地，所述目標工作單元具體用于：從原始惡意樣本文件庫中下載對應的原始惡意樣本文件，并從所述原始惡意樣本文件中提取樣本特征；其中，不同目標工作單元下載的原始惡意樣本文件不同。

其中，所述訓練子階段任務包括：特征篩選任務；

相應地，所述目標工作單元具體用于：對所述樣本特征進行去重，并對去重后的樣本特征進行初步篩選得到初步篩選特征；

相應地，所述整合單元具體用于：接收各個目標工作單元分別發送的初步篩選特征，并對所有初步篩選特征進行去重后，再進行整體特征篩選得到最終特征。

其中，所述訓練子階段任務包括：向量降維任務；

相應地，所述目標工作單元具體用于：從所述整合單元中獲取對應的待處理最終特征進行向量降維得到目標特征；其中，不同目標工作單元獲取的待處理最終特征不同。