[發明專利]一種黑盒模糊測試方法、系統、電子設備及存儲介質

有效

• 申請號: 202111393163.7
• 申請日: 2021-11-23
• 公開（公告）號: CN114064499B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李森驛;虞紅芳;申香中;張潔怡;王曉楠;孫罡
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F21/57;G06N3/0464
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 李夢蝶

1.一種黑盒模糊測試方法，其特征在于，包括以下步驟：

S1、獲取被智能計算框架記載并運行用于數據計算的神經網絡模型，以及獲取與神經網絡模型匹配的數據集；

S2、搭建智能計算框架；

S3、由模糊測試引擎將神經網絡模型作為初始種子放入種子模型中，并將其與匹配的數據集一并作為初始測試用例，保存于種子模型中；

S4、由模糊測試引擎從初始測試用例中選擇一個初始種子，并通過層變異、權重變異和API變異三種模型變異方法生成變異的神經網絡模型，并將變異的神經網絡模型結合匹配的數據集形成測試用例；

所述步驟S4中層變異，用于對神經網絡模型的結構進行變異；

所述權重變異，用于對神經網絡中的權重進行運算；

所述API變異，用于改變API調用參數；

所述層變異包括層替換、層添加和層刪除；

所述層替換，用于將某一層神經網絡替換成另一種神經網絡；

所述層添加，用于在目標層之后插入一個或一組層；

所述層刪除，用于在目標層之后刪除一個或一組層；

所述權重變異包括單目運算、雙目運算和多目運算；

所述單目運算的表達式如下：

其中，表示單目運算中的添加隨機噪聲，w表示該運算符所作用的權重，N(s,σ)表示服從均值為s，標準差為σ的隨機噪聲，表示單目運算中的權重取負運算；

所述雙目運算的表達式如下：

其中，表示雙目運算中的交換權重運算，w₂表示表示選取的第二個權重，w₁表示選取的第一個權重；

所述多目運算的表達式如下：

其中，表示多目運算中對多個權重進行重新排序運算，w_k表示第k個權重，new_permutation(·)表示一組權重的有別于當前排序的另一種排序；

所述API變異包括形狀相關API變異和計算相關API變異；

所述形狀相關API變異，用于決定需要構造的層的形狀或改變當前層的輸出形狀的參數；

所述計算相關API變異，用于決定模型構建后與層的計算行為相關的參數；

S5、由模糊測試器啟動智能計算框架，將測試用例中的變異的神經網絡模型和數據集進行加載，并由執行器通過API調用，使加載完的變異的神經網絡模型在數據集上進行計算；

S6、根據計算結果，對智能計算框架的運行結果以及執行過程的輸出進行分析；

S7、判斷運行時間是否超過指定時間或是否接收到中斷信號，若是，則根據分析結果完成對黑盒的模糊測試，否則，返回步驟S4，直至完成對智能計算框架的黑盒模糊測試。

2.根據權利要求1所述的黑盒模糊測試方法，其特征在于，所述步驟S6包括以下步驟：

S601、根據計算結果，判斷加載過程中是否有異常，若是，進入步驟S602，否則，進入步驟S7；或

根據計算結果，通過模糊測試器分別對計算過程和計算結果值進行判斷，判斷是否出現異常，若是，則進入步驟S603，否則，進入步驟S7；

S602、根據判斷結果，得到測試用例中的變異的神經網絡模型或數據集存在異常，并進入步驟S7；或

根據判斷結果，得到變異的神經網絡模型觸發了智能計算框架中數據處理的漏洞，并進入步驟S7；或

根據判斷結果，得到變異的神經網絡模型觸發了變異的神經網絡模型加載的漏洞，并進入步驟S7；

S603、根據計算結果，判斷計算過程中智能計算框架自身系統的輸出是否異常，若是，則進入步驟S604，否則，進入步驟S7；或

根據計算結果，判斷計算結果值是否出現異常，若是，則進入S605，否則，進入步驟S7；

S604、根據判斷結果，得到變異的神經網絡模型及其匹配的數據集在智能計算框架下進行計算時觸發智能計算框架的漏洞，并進入步驟S7；

S605、根據判斷結果，得到智能計算框架存在NaN漏洞，并進入步驟S7。