[發明專利]一種基于時序特征學習的數據流分類方法及裝置

有效

• 申請號: 202010375038.2
• 申請日: 2020-05-07
• 公開（公告）號: CN111259994B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 楊貽宏
• 申請（專利權）人: 上海飛旗網絡技術股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都頂峰專利事務所(普通合伙) 51224
• 代理人: 曾凱

1.一種基于時序特征學習的數據流分類方法，其特征在于，包括：

依次將獲取到的待分類數據流導入緩存；

根據所述緩存的剩余存儲容量按照第一設定方式或者第二設定方式提取所述緩存中的待分類數據流的時序特征；

將每個時序特征輸入預先訓練完成的LSTM神經網絡進行識別，得到每個時序特征的識別標簽；

將所述緩存中與所述識別標簽對應的待分類數據流存入與所述識別標簽對應的數據存儲區，并將所述識別標簽對應的待分類數據流從所述緩存中刪除；

其中：

按照所述第一設定方式提取所述緩存中的待分類數據流的時序特征，具體包括：若所述剩余存儲容量大于或等于設定容量，按照第一設定方式提取所述緩存中的待分類數量流的時序特征，則確定所述緩存中的待分類數據流所占用的目標存儲容量與所述緩存的額定存儲容量的比值；根據所述比值啟動多個預設的特征提取線程；采用啟動的所述特征提取線程對所述待分類數據流進行特征提取，得到所述待分類數據流對應的時序特征；

按照所述第二設定方式提取所述緩存中的待分類數據流的時序特征，具體包括：若所述剩余存儲容量小于設定容量，按照第二設定方式提取所述緩存中的待分類數量流的時序特征，啟動預設的多個特征提取線程中的每個特征提取線程，對所述待分類數據流進行特征提取，得到所述待分類數據流對應的時序特征。

2.如權利要求1所述的數據流分類方法，其特征在于，對所述待分類數據流進行特征提取，得到所述待分類數據流對應的時序特征，包括：

通過所述特征提取線程解析所述待分類數據流，得到所述待分類數據流的第一數據字節序列和第二數據字節序列；其中，所述第一數據字節序列是獲取到所述待分類數據流時的所述待分類數據流對應的數據字節序列，所述第二數據字節序列是位于所述緩存中的待分類數據流對應的數據字節序列；

確定所述第一數據字節序列中用于表征所述第一數據字節序列的起點的第一字節以及用于表征所述第一數據字節序列的終點的第二字節；

獲取所述第一字節對應的第一時刻以及所述第二字節對應的第二時刻；其中，所述第一時刻是接收到所述第一字節的時刻，所述第二時刻是接收到所述第二字節的時刻；

獲取將所述第一字節導入所述緩存的第三時刻以及將所述第二字節導入所述緩存的第四時刻；

根據所述第一時刻和所述第二時刻確定第一時段并根據所述第三時刻和所述第四時刻確定第二時段；

確定所述第一數據字節序列中的每個第一字節分段標識在所述第一時段中的第一相對位置以及所述第二數據字節序列中的每個第二字節分段標識在所述第二時段中的第二相對位置；其中，所述第一相對位置和所述第二相對位置為0-1之間的小數；

按照所述特征提取線程所分配的特征權重對所述第一字節、所述第二字節、所述第一時刻、所述第二時刻、所述第三時刻、所述第四時刻、每個第一字節分段標識、每個第一相對位置、每個第二字節分段標識以及每個第二相對位置進行排序得到排序序列；

根據所述排序序列確定所述待分類數據流對應的時序特征。

3.如權利要求2所述的數據流分類方法，其特征在于，將每個時序特征輸入預先訓練完成的LSTM神經網絡進行識別，得到每個時序特征的識別標簽，包括：

通過所述LSTM神經網絡判斷每個時序特征中的第一目標向量值的第一向量權重與該時序特征中的第二目標向量值的第二向量權重的差值是否超過設定閾值；其中，所述第一目標向量值是所述第一字節、所述第二字節、所述第一字節分段標識以及所述第二字節分段標識對應的向量值；所述第二目標向量值是所述第一時刻、所述第二時刻、所述第三時刻、所述第四時刻、所述第一相對位置和所述第二相對位置對應的向量值；

若是，刪除該時序特征中的所述第一目標向量；

若否，保留該時序特征中的所述第一目標向量；

通過所述LSTM神經網絡確定每個時序特征的向量值加權和；

確定每個向量值加權和落入的數值區間，該數值區間為預設的多個數值區間的其中之一；

根據所述數值區間所配對的區間標識得到所述向量值加權和對應的時序特征的識別標簽。