[發(fā)明專利]一種工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)智能體訓(xùn)練方法、裝置及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110905496.7
• 申請(qǐng)日: 2021-08-06
• 公開(kāi)（公告）號(hào): CN113794682B
• 公開(kāi)（公告）日: 2022-10-25
• 發(fā)明（設(shè)計(jì)）人: 李貝貝;黃翰媛;何俊江;劉翱;馬小霞;陳又銅
• 申請(qǐng)（專利權(quán)）人: 成都墨甲信息科技有限公司
• 主分類號(hào): H04L9/40
• 分類號(hào): H04L9/40;G06K9/62;G06N3/04;G06N3/08;G16Y30/10
• 代理公司: 深圳市恒程創(chuàng)新知識(shí)產(chǎn)權(quán)代理有限公司 44542
• 代理人: 苗廣冬

本發(fā)明公開(kāi)了一種工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)智能體訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，該方法包括獲取目標(biāo)物聯(lián)網(wǎng)的網(wǎng)絡(luò)樣本數(shù)據(jù)；將網(wǎng)絡(luò)樣本數(shù)據(jù)輸入入侵檢測(cè)模型，獲得預(yù)期入侵檢測(cè)結(jié)果；根據(jù)預(yù)期入侵檢測(cè)結(jié)果，判斷入侵檢測(cè)模型是否滿足收斂條件；若不滿足，利用獎(jiǎng)勵(lì)累積函數(shù)調(diào)整所述入侵檢測(cè)模型的訓(xùn)練策略，重復(fù)利用入侵檢測(cè)模型處理網(wǎng)絡(luò)樣本數(shù)據(jù)，直至入侵檢測(cè)模型收斂，獲得入侵檢測(cè)智能體。本發(fā)明通過(guò)網(wǎng)絡(luò)樣本數(shù)據(jù)對(duì)利用獎(jiǎng)勵(lì)累積函數(shù)持續(xù)更新訓(xùn)練策略的入侵檢測(cè)智能體進(jìn)行循環(huán)訓(xùn)練，進(jìn)而獲得具有適應(yīng)性的入侵檢測(cè)智能體，能夠針對(duì)工業(yè)物聯(lián)網(wǎng)環(huán)境和結(jié)構(gòu)持續(xù)變化的特性，動(dòng)態(tài)地調(diào)整自身的辨識(shí)策略。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)安全技術(shù)領(lǐng)域，尤其涉及一種工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)智能體訓(xùn)練方法、裝置及設(shè)備。

背景技術(shù)

工業(yè)物聯(lián)網(wǎng)是一個(gè)復(fù)雜的網(wǎng)絡(luò)，系統(tǒng)一部分的任何故障或異常都可能在短時(shí)間內(nèi)對(duì)整個(gè)系統(tǒng)造成巨大損害。因此，盡早發(fā)現(xiàn)網(wǎng)絡(luò)攻擊對(duì)于及時(shí)有效的網(wǎng)絡(luò)響應(yīng)至關(guān)重要。入侵檢測(cè)系統(tǒng)(Intrusion Detection System，IDS)是網(wǎng)絡(luò)安全防護(hù)的重要組成部分，能夠幫助系統(tǒng)有效發(fā)現(xiàn)網(wǎng)絡(luò)入侵行為。

然而，近年來(lái)，由于工業(yè)物聯(lián)網(wǎng)運(yùn)行環(huán)境和結(jié)構(gòu)持續(xù)變化，傳統(tǒng)的入侵檢測(cè)模型(如基于簡(jiǎn)單機(jī)器學(xué)習(xí)的入侵檢測(cè)模型等)往往不具備對(duì)網(wǎng)絡(luò)威脅的自適應(yīng)調(diào)整能力，不能在工業(yè)物聯(lián)網(wǎng)網(wǎng)絡(luò)風(fēng)險(xiǎn)環(huán)境發(fā)生變化時(shí)動(dòng)態(tài)地調(diào)整自身的辨識(shí)策略，進(jìn)而無(wú)法針對(duì)復(fù)雜網(wǎng)絡(luò)攻擊提供自適應(yīng)的檢測(cè)、相應(yīng)和防御等。

因此，如何獲得適用于運(yùn)行環(huán)境和結(jié)構(gòu)持續(xù)變化的工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)模型，是一個(gè)亟需解決的技術(shù)問(wèn)題。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)智能體訓(xùn)練方法、裝置及設(shè)備，旨在解決現(xiàn)有技術(shù)中存在的傳統(tǒng)的入侵檢測(cè)模型不能對(duì)運(yùn)行環(huán)境和結(jié)構(gòu)持續(xù)變化的工業(yè)物聯(lián)網(wǎng)提供自適應(yīng)的入侵檢測(cè)的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提出一種工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)智能體訓(xùn)練方法，所述工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)智能體訓(xùn)練方法包括以下步驟：

獲取目標(biāo)物聯(lián)網(wǎng)的網(wǎng)絡(luò)樣本數(shù)據(jù)，所述網(wǎng)絡(luò)樣本數(shù)據(jù)為記錄目標(biāo)物聯(lián)網(wǎng)交互和運(yùn)行的文本數(shù)據(jù)；

將所述網(wǎng)絡(luò)樣本數(shù)據(jù)輸入入侵檢測(cè)模型，獲得預(yù)期入侵檢測(cè)結(jié)果；

根據(jù)所述預(yù)期入侵檢測(cè)結(jié)果，判斷所述入侵檢測(cè)模型是否滿足收斂條件；

若不滿足，利用獎(jiǎng)勵(lì)累積函數(shù)調(diào)整所述入侵檢測(cè)模型的訓(xùn)練策略，并返回所述將所述網(wǎng)絡(luò)樣本數(shù)據(jù)輸入入侵檢測(cè)模型的步驟，循環(huán)至所述預(yù)期入侵檢測(cè)結(jié)果滿足所述收斂條件，以獲得入侵檢測(cè)智能體；其中，所述獎(jiǎng)勵(lì)累積函數(shù)根據(jù)環(huán)境狀態(tài)數(shù)據(jù)模擬獲得，所述環(huán)境狀態(tài)數(shù)據(jù)根據(jù)歷史工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)獲得；

所述工業(yè)物聯(lián)網(wǎng)入侵檢測(cè)智能體訓(xùn)練方法還包括：

基于所述環(huán)境狀態(tài)數(shù)據(jù)，獲取每一時(shí)間步的反饋信號(hào)；

根據(jù)所述每一時(shí)間步的反饋信號(hào)，獲得所述獎(jiǎng)勵(lì)累積函數(shù)。

可選的，利用獎(jiǎng)勵(lì)累積函數(shù)調(diào)整所述入侵檢測(cè)模型的訓(xùn)練策略步驟，具體包括：

基于所述獎(jiǎng)勵(lì)累積函數(shù)，處理所述訓(xùn)練策略的策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)，獲得所述訓(xùn)練策略的優(yōu)勢(shì)函數(shù)值和更新新舊策略的比值；

根據(jù)所述優(yōu)勢(shì)函數(shù)值和所述更新新舊策略的比值構(gòu)建訓(xùn)練策略的損失函數(shù)；

利用所述損失函數(shù)更新所述訓(xùn)練策略的策略參數(shù)，以調(diào)整所述入侵檢測(cè)模型的訓(xùn)練策略。

可選的，根據(jù)所述優(yōu)勢(shì)函數(shù)值和所述更新新舊策略的比值構(gòu)建訓(xùn)練策略的損失函數(shù)步驟，具體包括：

采用PPO2策略梯度算法處理所述優(yōu)勢(shì)函數(shù)值和所述更新新舊策略的比值，獲得所述訓(xùn)練策略的梯度值；