[發(fā)明專(zhuān)利]AI框架的安全評(píng)測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011531762.6
• 申請(qǐng)日: 2020-12-22
• 公開(kāi)（公告）號(hào): CN112527674B
• 公開(kāi)（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 鄒權(quán)臣;潘越;錢(qián)佳宇;劉昭;彭偉珰;張德岳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州三六零智能安全科技有限公司
• 主分類(lèi)號(hào): G06F11/36
• 分類(lèi)號(hào): G06F11/36;G06F21/57
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 薛福玲

本發(fā)明涉及軟件安全技術(shù)領(lǐng)域，公開(kāi)一種AI框架的安全評(píng)測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取待評(píng)測(cè)AI框架的框架源代碼，根據(jù)框架源代碼對(duì)待評(píng)測(cè)AI框架進(jìn)行模塊構(gòu)成分析，獲得框架組成分析結(jié)果，然后對(duì)待評(píng)測(cè)AI框架進(jìn)行攻擊面分析，獲得攻擊面分析結(jié)果，再基于框架組成分析結(jié)果和攻擊面分析結(jié)果對(duì)待評(píng)測(cè)AI框架進(jìn)行安全風(fēng)險(xiǎn)評(píng)測(cè)，獲得安全風(fēng)險(xiǎn)評(píng)測(cè)結(jié)果。本發(fā)明通過(guò)將AI框架中模塊的成分分析和模塊的攻擊面分析相結(jié)合來(lái)對(duì)AI框架進(jìn)行安全風(fēng)險(xiǎn)評(píng)測(cè)，相比于現(xiàn)有的依賴(lài)于傳統(tǒng)漏洞挖掘技術(shù)和依賴(lài)人工逆向分析方式，一方面能夠保證風(fēng)險(xiǎn)評(píng)測(cè)的全面性和準(zhǔn)確性，另一方面也能提高了風(fēng)險(xiǎn)評(píng)測(cè)的自動(dòng)化程度和對(duì)安全風(fēng)險(xiǎn)的感知力。

技術(shù)領(lǐng)域

本發(fā)明涉及軟件安全技術(shù)領(lǐng)域，尤其涉及一種AI框架的安全評(píng)測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來(lái)，許多全球知名的互聯(lián)網(wǎng)IT技術(shù)企業(yè)發(fā)布了一系列開(kāi)源的人工智能框架，如Tensorflow、PyTorch、MXNet、CNTK、Caffe等，并已經(jīng)被工業(yè)界和學(xué)術(shù)界廣泛采用。

各大廠商在研發(fā)人工智能框架時(shí)，更多關(guān)注其功能、性能以及面向開(kāi)發(fā)者的易用性，對(duì)系統(tǒng)軟件本身實(shí)現(xiàn)層面的安全性缺乏充分考慮。一方面，人工智能(ArtificialIntelligence，AI)框架內(nèi)部實(shí)現(xiàn)層面可能帶有安全隱患；另一方面，AI框架存在不同程度調(diào)用第三方組件的情況，為AI系統(tǒng)引入了供應(yīng)鏈安全風(fēng)險(xiǎn)。由于框架使用者眾多，框架數(shù)據(jù)安全一旦出現(xiàn)問(wèn)題，將導(dǎo)致嚴(yán)重的危害。因此，對(duì)云端機(jī)器學(xué)習(xí)框架的數(shù)據(jù)安全進(jìn)行檢測(cè)至關(guān)重要，自動(dòng)化安全檢測(cè)產(chǎn)品的研制也符合工業(yè)界的需求。

目前，AI框架安全研究已經(jīng)開(kāi)始引起業(yè)界的重視，并有較多常見(jiàn)深度學(xué)習(xí)框架的漏洞被暴露出來(lái)，然而當(dāng)前的框架數(shù)據(jù)安全檢測(cè)仍然依賴(lài)于傳統(tǒng)漏洞挖掘技術(shù)，并嚴(yán)重依賴(lài)人工逆向分析，缺少面向框架數(shù)據(jù)安全的，有針對(duì)性、系統(tǒng)性的自動(dòng)化檢測(cè)工具或方式，缺少漏洞威脅感知系統(tǒng)。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供了一種AI框架的安全評(píng)測(cè)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有的框架數(shù)據(jù)安全檢測(cè)方式過(guò)于依賴(lài)傳統(tǒng)的漏洞挖掘技術(shù)和人工逆向分析，導(dǎo)致全面性和系統(tǒng)性不足的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種AI框架的安全評(píng)測(cè)方法，所述方法包括以下步驟：

獲取待評(píng)測(cè)AI框架的框架源代碼；

根據(jù)所述框架源代碼對(duì)所述待評(píng)測(cè)AI框架進(jìn)行模塊構(gòu)成分析，獲得框架組成分析結(jié)果；

對(duì)所述待評(píng)測(cè)AI框架進(jìn)行攻擊面分析，獲得攻擊面分析結(jié)果；

基于所述框架組成分析結(jié)果和所述攻擊面分析結(jié)果對(duì)所述待評(píng)測(cè)AI框架進(jìn)行安全風(fēng)險(xiǎn)評(píng)測(cè)，獲得安全風(fēng)險(xiǎn)評(píng)測(cè)結(jié)果。

可選地，所述基于所述框架組成分析結(jié)果和所述攻擊面分析結(jié)果對(duì)所述待評(píng)測(cè)AI框架進(jìn)行安全風(fēng)險(xiǎn)評(píng)測(cè)，獲得安全風(fēng)險(xiǎn)評(píng)測(cè)結(jié)果的步驟，包括：

根據(jù)所述框架組成分析結(jié)果和所述攻擊面分析結(jié)果確定所述待評(píng)測(cè)AI框架中包含的潛在風(fēng)險(xiǎn)模塊；

通過(guò)歷史漏洞數(shù)據(jù)庫(kù)對(duì)所述潛在風(fēng)險(xiǎn)模塊進(jìn)行安全風(fēng)險(xiǎn)評(píng)測(cè)，獲得第一風(fēng)險(xiǎn)測(cè)評(píng)結(jié)果；

對(duì)所述潛在風(fēng)險(xiǎn)模塊進(jìn)行漏洞挖掘，并對(duì)所挖掘的漏洞進(jìn)行風(fēng)險(xiǎn)評(píng)測(cè)，獲得第二風(fēng)險(xiǎn)評(píng)測(cè)結(jié)果；

根據(jù)所述第一風(fēng)險(xiǎn)測(cè)評(píng)結(jié)果和所述第二風(fēng)險(xiǎn)評(píng)測(cè)結(jié)果獲得安全風(fēng)險(xiǎn)評(píng)測(cè)結(jié)果。

可選地，所述根據(jù)所述框架組成分析結(jié)果和所述攻擊面分析結(jié)果確定所述待評(píng)測(cè)AI框架中包含的潛在風(fēng)險(xiǎn)模塊的步驟，包括：

根據(jù)所述框架組成分析結(jié)果確定所述待評(píng)測(cè)AI框架中包含的功能處理模塊和依賴(lài)組件；