[發明專利]基于TensorFuzz的深度神經網絡模糊測試框架和測試方法

有效

• 申請號: 202010765951.3
• 申請日: 2020-08-03
• 公開（公告）號: CN111897729B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 馬銳;趙鵬飛;賀金媛;蔣瑾蔓;李瀅
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F21/57;G06N3/04
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 溫子云

1.一種基于TensorFuzz的深度神經網絡模糊測試框架，其特征在于，包括：測試用例池、選擇輸入模塊、可配置的變異模塊、深度神經網絡模糊測試模型、可配置的覆蓋分析模塊、目標函數判斷模塊和安全分析模塊；

所述選擇輸入模塊，用于從測試用例池中獲取測試用例；

所述可配置的變異模塊，用于根據配置選擇，采用配置的變異方式對選擇輸入模塊獲取的測試用例進行變異，將變異后的測試用例作為當前測試用例，加載到所述深度神經網絡模糊測試模型中進行處理；

所述可配置的覆蓋分析模塊，用于根據配置選擇，采用配置的覆蓋分析度量標準，確定當前測試用例是否觸發了新的覆蓋；如果是，則將當前測試用例增加到所述測試用例池中；

所述目標函數判斷模塊依據目標函數進行判斷，所述目標函數包括模糊測試的目標和終止條件；當根據模糊測試的目標判定當前測試用例觸發“崩潰”時，通知安全分析模塊工作；當根據模糊測試的終止條件判定滿足終止條件時，模糊測試結束，否則繼續進行變異、測試；

所述安全分析模塊，用于接收到目標函數判斷模塊的通知時，記錄與“崩潰”相關的信息，將觸發“崩潰”的當前測試用例增加到所述測試用例池中，繼續進行變異、測試。

2.如權利要求1所述的模糊測試框架，其特征在于，針對圖像類型的測試用例，所述可配置的變異模塊中的可選變異策略為添加椒鹽噪聲、添加泊松噪聲、添加區域遮擋、圖像平移、圖像旋轉和隨機選擇中的一種或兩種以上的組合；所述隨機選擇是指從可選變異策略中隨機選擇一種。

3.如權利要求1所述的模糊測試框架，其特征在于，所述可配置的覆蓋分析模塊中可選覆蓋分析度量標準為神經元覆蓋率、k-多節神經元覆蓋率、神經元邊界覆蓋率、神經元強激活覆蓋率和top-k神經元覆蓋率中的一種或兩種以上的組合；

定義在深度神經網絡訓練過程中，獲取的深度神經網絡中各神經元輸出值的最大值與最小值為上下界；在模糊測試過程中，根據神經元輸出值將神經元劃分為主要功能區和邊界情況：上下界之間的區間為神經元的主要功能區，低于下界的區間為神經元的下邊界情況，高于上界的區間為神經元的上邊界情況；下邊界情況和上邊界情況同屬于邊界情況；將所述主要功能區等分為k個小節，即認為每個神經元存在k種狀態；那么：

所述神經元覆蓋率是指深度神經網絡中處于激活狀態神經元的比例；

所述k-多節神經元覆蓋率是指深度神經網絡中所有神經元主要功能區被觸發的狀態數之和與所有神經元的狀態總數的比值；

所述神經元邊界覆蓋率是指觸發到邊界情況的神經元個數與神經元總個數2倍的比值；

所述神經元強激活覆蓋率是指觸發到上邊界情況的神經元個數與神經元總個數的比值；

所述top-k神經元覆蓋率以深度神經網絡的層為考量單位，統計深度神經網絡的每一層中曾經為輸出值前k高的神經元數量，將所有層的前k高的神經元數量相加除以深度神經網絡中神經元總數，得到的比值作為top-k神經元覆蓋率。

4.如權利要求1所述的模糊測試框架，其特征在于，所述終止條件是測試時間上限、循環次數上限或者是人為終止信號。

5.一種基于TensorFuzz的深度神經網絡模糊測試方法，其特征在于，包括：

步驟1、設置目標函數；所述目標函數包括模糊測試的目標和終止條件；

步驟2、從測試用例池中獲取測試用例；

步驟3、根據配置選擇，采用配置的變異方式對獲取的測試用例進行變異，將變異后的測試用例作為當前測試用例，加載到深度神經網絡模糊測試模型中進行處理；

步驟4、根據配置選擇，采用配置的覆蓋分析度量標準，確定當前測試用例是否觸發了新的覆蓋；如果是，則將當前測試用例增加到所述測試用例池中；

步驟5、根據目標函數的模糊測試目標，在當前測試用例觸發“崩潰”時，將當前測試用例增加到所述測試用例池中；根據目標函數的終止條件，判斷是否滿足終止條件，如果是，則結束模糊測試，否則從測試用例池中獲取下一個測試用例，重復步驟3-5，直到觸發了目標函數的終止條件，結束模糊測試。