[發明專利]基于閉合頻繁項挖掘的未知協議報文聚類方法和系統

在審

• 申請號: 202011266863.5
• 申請日: 2020-11-13
• 公開（公告）號: CN112367325A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 洪征;李毅豪;林培鴻
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06N3/08;G06N3/04;G06K9/62;G06F40/289;G06F40/216
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 朱遠楓

1.一種基于閉合頻繁項挖掘的未知協議報文聚類方法，其特征在于，包括：將獲取的數據報轉換成報文；將報文分割成各個短序列；根據短序列的出現頻次以及設置的頻繁度閾值提取出短序列中的頻繁項，然后依據閉合屬性對頻繁項進行篩選，進而獲得其中的閉合頻繁項；以閉合頻繁項為基礎，對報文進行向量化表示并對向量進行降維處理獲得降維后的報文向量；

針對降維后的報文向量，通過向自組織映射神經網絡，依據向量間的距離對報文向量進行聚類，將相同類型的報文向量聚類。

2.根據權利要求1所述的一種基于閉合頻繁項挖掘的未知協議報文聚類方法，其特征在于，所述數據報包括通過TCP協議傳輸的應用層數據報和通過UDP協議傳輸的應用層數據報；將獲取的數據報轉換成報文具體包括：對于通過TCP協議傳輸的應用層數據報，依據TCPFIN標志和TCP SYN標志將一個新的應用層報文與之前的應用層報文分隔開并進行重組，得到完整的應用層報文；

對于通過UDP協議傳輸的應用層數據報，每個UDP數據報的載荷被視為一個獨立的應用層報文。

3.根據權利要求1所述的一種基于閉合頻繁項挖掘的未知協議報文聚類方法，其特征在于，將報文分割成各個短序列之前還包括將報文劃分為文本型報文、二進制型報文以及包含文本和二進制字符的混合型報文三類；將報文分割成各個短序列的方法包括：

對于二進制型報文與文本型報文，使用n-gram分詞方法直接分詞，而對于混合型報文，根據預先確定的二進制內容和文本內容的邊界，對不同類型的內容進行分詞。

4.根據權利要求3所述的一種基于閉合頻繁項挖掘的未知協議報文聚類方法，其特征在于，使用n-gram分詞方法分詞時，n的取值從設置的最小值到設置的最大值逐一增長。

5.根據權利要求1所述的一種基于閉合頻繁項挖掘的未知協議報文聚類方法，其特征在于，根據短序列的出現頻次以及設置的頻繁度閾值提取出短序列中的頻繁項的過程包括：統計各短序列總出現頻次，將短序列總出現頻次與短序列總數量的比值作為該短序列的頻繁度；如果一個短序列的頻繁度超過了設定的頻繁度閾值，那么該短序列就是一個頻繁項，否則該短序列就不是頻繁項。

6.根據權利要求1所述的一種基于閉合頻繁項挖掘的未知協議報文聚類方法，其特征在于，依據閉合屬性對頻繁項進行篩選具體包括：

依次檢查每個頻繁項是否具有閉合屬性，選擇滿足閉合屬性的頻繁項構成閉合頻繁項集合，其中判定一個集合中的序列A擁有閉合屬性的方法為：當且僅當在序列A所在的集合中沒有任何一個序列是序列A的超序列，并且該序列的頻繁度等于序列A的頻繁度，則判定該集合中的序列A擁有閉合屬性。

7.根據權利要求1所述的一種基于閉合頻繁項挖掘的未知協議報文聚類方法，其特征在于，以閉合頻繁項為基礎，對報文進行向量化表示并對向量進行降維處理獲得降維后的報文向量的具體方法為：

以閉合頻繁項集合為基礎對每條報文進行向量化表示，如果報文擁有某個閉合頻繁項，則向量化過程中將相應的元素置為1；如果報文中沒有出現這個閉合頻繁項，則向量化過程中將相應的元素置為0；此后，利用t-sne方法對報文向量進行降維，將高維的報文向量轉化為二維的報文向量。

8.根據權利要求1所述的一種基于閉合頻繁項挖掘的未知協議報文聚類方法，其特征在于，所述自組織映射聚類的過程包括：通過將降維后的報文向量輸入自組織映射神經網絡，神經網絡將發現報文向量的規律和報文向量之間的相互關系；聚類得到的神經網絡，每個神經元附近的報文向量的集合被認為是屬于同一個簇，代表這些報文向量屬于同一種類型。