[發(fā)明專利]一種基于獎(jiǎng)勵(lì)反饋的智能蜜罐系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911288802.6
• 申請日: 2019-12-12
• 公開（公告）號: CN111079932A
• 公開（公告）日: 2020-04-28
• 發(fā)明（設(shè)計(jì)）人: 陳夏裕;袁鍵;徐樂晨;施靖萱;章明飛
• 申請（專利權(quán)）人: 江蘇亨通工控安全研究院有限公司
• 主分類號: G06N7/00
• 分類號: G06N7/00;H04L29/06
• 代理公司: 蘇州市中南偉業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 郭磊

1.一種基于獎(jiǎng)勵(lì)反饋的智能蜜罐系統(tǒng)，其特征在于:

智能蜜罐系統(tǒng)是基于強(qiáng)化學(xué)習(xí)模型，應(yīng)用獎(jiǎng)勵(lì)反饋機(jī)制，采用馬爾可夫模型；強(qiáng)化學(xué)習(xí)模型是一種機(jī)器學(xué)習(xí)技術(shù)；蜜罐在給定的環(huán)境中自主學(xué)習(xí)；智能蜜罐系統(tǒng)在沒有給定具體什么輸入時(shí)自主決策，自己決定下一步該進(jìn)行何種操作；

蜜罐系統(tǒng)能夠和自動惡意軟件主動交互；獎(jiǎng)勵(lì)函數(shù)能夠根據(jù)蜜罐系統(tǒng)與惡意軟件交互的情況即蜜罐系統(tǒng)交互的時(shí)間長短制定相應(yīng)的獎(jiǎng)勵(lì)；蜜罐系統(tǒng)與惡意軟件交互的時(shí)間越長，獎(jiǎng)勵(lì)越多。

2.根據(jù)權(quán)利要求書1中所述的一種基于獎(jiǎng)勵(lì)反饋的智能蜜罐系統(tǒng)，獎(jiǎng)勵(lì)反饋模型采用深度學(xué)習(xí)思想，其特征在于，所述模型包含以下3個(gè)步驟：

步驟1、當(dāng)自動惡意軟件攻擊蜜罐系統(tǒng)時(shí)，蜜罐會和自動惡意軟件之間主動交互；

步驟2、獎(jiǎng)勵(lì)函數(shù)能夠根據(jù)蜜罐系統(tǒng)與自動惡意軟件之間交互的情況即蜜罐系統(tǒng)與自動惡意軟件交互時(shí)間的長短來進(jìn)行獎(jiǎng)勵(lì)；蜜罐與自動惡意軟件交互的時(shí)間越長，交互次數(shù)越頻繁；獎(jiǎng)勵(lì)函數(shù)獎(jiǎng)勵(lì)的越多，反之則越少；

步驟3、蜜罐根據(jù)獎(jiǎng)勵(lì)函數(shù)一次次獎(jiǎng)勵(lì)的迭代情況自主學(xué)習(xí)，根據(jù)以往的學(xué)習(xí)經(jīng)驗(yàn)自主決策下一步該干什么，與自動惡意軟件之間進(jìn)行自主交互。

3.根據(jù)權(quán)利要求書1中所述的一種基于強(qiáng)化學(xué)習(xí)的智能蜜罐系統(tǒng)，其特征在于，所述馬爾可夫模型包含以下內(nèi)容：

馬爾可夫模型是一種特殊的數(shù)學(xué)框架，適用于不確定下的決策建模；馬爾可夫模型表示為由狀態(tài)、動作、轉(zhuǎn)換概率和獎(jiǎng)勵(lì)組成的四個(gè)部分。

4.根據(jù)權(quán)利要求書2中所述的一種基于獎(jiǎng)勵(lì)反饋的智能蜜罐系統(tǒng)，其特征在于，所述獎(jiǎng)勵(lì)函數(shù)包含以下特點(diǎn)：

所述獎(jiǎng)勵(lì)函數(shù)的是運(yùn)用強(qiáng)化學(xué)習(xí)技術(shù)對蜜罐系統(tǒng)與自動惡意軟件的交互情況進(jìn)行獎(jiǎng)勵(lì)，能夠延長蜜罐系統(tǒng)與自動惡意軟件之間的交互時(shí)間，獎(jiǎng)勵(lì)函數(shù)利用強(qiáng)化學(xué)習(xí)來延長攻擊序列的交互作用，初始的計(jì)算機(jī)命令將嘗試返回已知的蜜罐響應(yīng)，對錯(cuò)誤的請求及時(shí)的反映，根據(jù)響應(yīng)的不同計(jì)算機(jī)將停止或修改其操作；蜜罐系統(tǒng)將自主學(xué)習(xí)，并因延長互動時(shí)間而得到獎(jiǎng)勵(lì)，從攻擊序列中增加命令的數(shù)量、與自動惡意軟件的交互情況由獎(jiǎng)勵(lì)函數(shù)決定；

將命令分為以下5大類：

-L：已知的Linux Bash命令，如wget，cd，mount，chmod等等；

-C：定制攻擊命令，如文件下載命令；

-CC：復(fù)合命令，如帶有Bash分隔符操作符的多個(gè)命令；

-NF：蜜罐不支持的已知命令；

-O：其它命令：沒處理的按鍵，如enter和未知命令；

若計(jì)算機(jī)命令是一個(gè)輸入字符串i，是由Bash命令(L)、定制命令(C)、復(fù)合命令(CC)之中任意一個(gè)命令組成，學(xué)習(xí)主體就會得到獎(jiǎng)勵(lì)，Y＝L∪C∪CC，