[發明專利]惡意文件檢測模型的訓練系統、方法、設備、介質及平臺

有效

• 申請號: 202210076537.0
• 申請日: 2022-01-24
• 公開（公告）號: CN114091029B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 徐敬蘅;章明星;位凱志;劉彥南;顧立明;古亮
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F21/56
• 分類號: G06F21/56;G06N20/00
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 夏歡

1.一種惡意文件檢測模型的分布式訓練系統，其特征在于，所述分布式訓練系統包括：

調度器、分布式集群及整合單元，所述分布式集群包括若干個工作單元；

所述調度器用于按照惡意文件檢測模型的訓練過程，依次接收多個訓練子階段任務；其中，每個訓練子階段任務對應惡意文件檢測模型訓練的一子階段；所述調度器用于每接收到一訓練子階段任務，在所述分布式集群中確定用于執行所述訓練子階段任務的目標工作單元，并向每個目標工作單元分發所述訓練子階段任務；其中，至少有兩個目標工作單元分別位于不同的服務器；

所述目標工作單元用于接收所述調度器分發的所述訓練子階段任務，并根據所述訓練子階段任務執行對應的處理操作；

所述整合單元用于接收各個目標工作單元執行完訓練子階段任務之后的結果，并將各個結果進行整合，以便于目標工作單元在執行后續訓練子階段任務時使用，或者通過整合得到訓練后的最終惡意文件檢測模型；

其中，所述訓練子階段任務包括：向量降維任務；

相應地，所述目標工作單元具體用于：

從所述整合單元中獲取對應的待處理最終特征，確定初始降維方式，并將確定的所述初始降維方式發送至所述整合單元；從所述整合單元確定最終降維方式，以對待處理最終特征進行降維得到目標特征；其中，不同目標工作單元獲取的待處理最終特征不同；每個目標工作單元確定的初始降維方式中包括每個維度的重要性值；

相應地，所述整合單元還用于：從各目標工作單元接收初始降維方式，對每種初始降維方式的每個維度的重要性值求和平均獲得最終降維方式；其中，通過最終降維方式執行降維操作時，將重要性值低于預定閾值的維度作為需要降維的維度。

2.根據權利要求1所述的分布式訓練系統，其特征在于，所述訓練子階段任務包括：惡意樣本文件下載與特征提取任務；

相應地，所述目標工作單元具體用于：從原始惡意樣本文件庫中下載對應的原始惡意樣本文件，并從所述原始惡意樣本文件中提取樣本特征；其中，不同目標工作單元下載的原始惡意樣本文件不同。

3.根據權利要求2所述的分布式訓練系統，其特征在于，所述訓練子階段任務包括：特征篩選任務；

相應地，所述目標工作單元具體用于：對所述樣本特征進行去重，并對去重后的樣本特征進行初步篩選得到初步篩選特征；

相應地，所述整合單元具體用于：接收各個目標工作單元分別發送的初步篩選特征，并對所有初步篩選特征進行去重后，再進行整體特征篩選得到最終特征。

4.根據權利要求1所述的分布式訓練系統，其特征在于，所述訓練子階段任務包括：惡意文件檢測模型訓練任務；

相應地，所述目標工作單元具體用于：根據所述目標特征對初始模型進行訓練得到對應的計算結果；其中，不同目標工作單元用來訓練初始模型的目標特征不同；

相應地，所述整合單元具體用于：根據每個目標工作單元的計算結果生成最終惡意文件檢測模型。

5.根據權利要求1至4中任意一項所述的分布式訓練系統，其特征在于，所述目標工作單元具體用于：根據所述訓練子階段任務執行對應的處理操作時，通過延遲執行機制對已使用數據進行資源清理。

6.根據權利要求1至4中任意一項所述的分布式訓練系統，其特征在于，所述目標工作單元具體用于：根據所述訓練子階段任務執行對應的處理操作時，根據執行所述訓練子階段任務的每個指令的資源需求對各指令進行組合，以便通過并行方式執行各指令。