[發明專利]基于Spark車聯網組合深度學習入侵檢測方法及系統

有效

• 申請號: 202011122116.4
• 申請日: 2020-10-20
• 公開（公告）號: CN111970309B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 戚湧;俞建業
• 申請（專利權）人: 南京理工大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06N3/04;G06N3/08
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 滕詣迪

1.一種基于Spark車聯網組合深度學習入侵檢測方法，其特征在于，包括以下步驟：

S1：搭建Spark分布式集群；

Spark分布式集群環境包括一臺主節點和多臺從節點，包括彈性分布式數據庫RDD、分布式文件系統HDFS及容錯機制；

S2：初始化Spark布式集群并構建CNN-LSTM組合深度學習算法模型以及參數的初始化，將采集到的數據上傳到HDFS中；

所述的步驟S2構建CNN-LSTM組合深度學習算法模型具體為：

構建CNN-LSTM組合深度學習算法模型以及參數的初始化，將采集到的數據上傳到HDFS中具體為：

S2.1.1：數據流量采集是對車聯網在通信過程中產生的數據交互，包括采集由車載終端從云服務平臺獲取包括娛樂信息服務、地圖、路況、輔助駕駛信息；

S2.1.2：采集由車載終端獲取的路測設備的紅綠燈信息以及路況和盲區信息；

S2.1.3：采集由車載終端與車載終端傳遞的信息，包括路況預警信息；

S2.1.4：以及路測設備將路測傳感數據上傳到云服務平臺；其中包括采集協議類型、網絡連接狀態、網絡服務類型；

S2.1.5：采集在數據傳輸過程中的異常入侵數據；

S2.1.6：在傳輸節點上連接入侵檢測設備對數據進行采集、去重、分析；

將采集到的數據上傳到HDFS中，對未處理通信數據進行預處理，采用數據數值化、歸一化以及標準化：

S2.2.1：針對未處理的數據進行預處理，具體來說就是發送和接收車輛消息的車載單元OBU以及路側設施RSU在進行交互的過程中對其中傳輸的數據進行檢測和處理；清洗錯誤數據和丟失不全的數據，對沒有數值化的數據進行數值化，成為有價值的新數據；

S2.2.2：數據數值化，對數據傳輸過程中各種形式的數據進行數值化操作；就是將S2.2.1中收集到的數據，由原來的字符型轉化為數值型數據，更好的分析和識別數據的內容；將屬性特征三種協議類型：TCP、UDP、ICMP編碼為1，2，3；

S2.2.3：根據數值化的數據，將車聯網數據其取值范圍在[0,58329]變為(0,1)的小數便于數據更加快速的提取；消除數值化帶來的不同量綱的影響；采用0均值標準化，通過數據的均值和標準差進行數據的標準化，經過處理的車聯網數據符合標準正態分布，即均值為0，標準差為1，函數原型為：

(1)

其中，為當前車聯網采集到的數據的均值，為當前車聯網采集到的數據的標準差；

S2.2.4：經過數據的采集以及數據的預處理過程進行車聯網數據分析的標準化；

S2.3.1：對數據進行訓練時，設置多次的迭代；

S2.3.2：對車聯網數據的特征提取由卷積神經網絡CNN完成，CNN結構的第一層為網絡的輸入層；

S2.3.3：第二層為卷積層用于提取特征，使用sigmoid或tanh函數，加快收斂和訓練速度；

每個卷積層包含卷積操作和非線性激活兩個過程；當前層的特征圖可由卷積核進而前一層的輸出特征圖或原始特征圖進行卷積操作得到：

(2)

其中，表示經過卷積之后第層特征圖中的第個位置的輸入；表示第層中的第個輸入矩陣；表示在第層和第層之間連接第個輸入矩陣和第個位置的卷積核；表示到第層特征圖和第個位置的偏置量；

S2.3.4：池化層對特征進行抽樣，使用LeakyRelu激活：

（3）

其中，當車聯網標準化后的值的取值小于0時，的取值為0；當車聯網標準化后的值的取值大于0時，的取值為；

S2.3.5：最后全連接層將提取的特征連接起來形成整體特征，輸入到LSTM中，全連接層的神經元輸出計算：

（4）

其中，表示第層全連接層神經元中第個神經元經計算后的輸入結果；表示層中特征圖的第個特征與層中的第個神經元的連接權重；為層中特征圖的第個特征值；為第層全連接層神經元中第個神經元的偏置值；

S2.3.6：長短期記憶網絡LSTM使用一組gate函數控制反饋，短時間的錯誤被刪除，持續的特性會被保留；使用子網中和進行輸出，其中為輸入門，輸入車聯網數據特征值的數目；為更新門，是指所循環的神經網絡的層數，默認為1；為遺忘門，是通過權重和偏置以及輸入門計算得到的維度；為輸出門，由權重和偏置以及遺忘門和更新門水平拼接而成的向量計算得到的結果；最后通過兩種類型的控制門和來確定先前學習的反饋和電流輸出：

(5)

(6)

LSTM通過調整網絡中的權值和值來學習輸入，從而在輸出中有效地生成輸入數據之間的時間特征；

S3：從HDFS上讀取數據進行處理并輸入進CNN-LSTM組合深度學習算法模型中，對數據進行識別；

S4：將數據分成多個RDD進行批量訓練，并進行迭代達到預設次數。