[發明專利]一種基于KL散度的神經網絡模型性能評估方法

在審

• 申請號: 202210281756.2
• 申請日: 2022-03-22
• 公開（公告）號: CN114861866A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 韓振華;李艷鵬;歐陽鵬
• 申請（專利權）人: 北京清微智能信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京索睿邦知識產權代理有限公司 11679
• 代理人: 朱玲

1.一種基于KL散度的神經網絡模型性能評估方法，其特征在于，包括步驟：

步驟S1，建立數據集，并從所述數據集中抽取樣本建立測試樣本集，抽取樣本的方法為隨機抽取，抽取的樣本量為128；

步驟S2，加載神經網絡模型，在所述神經模型的前向推理過程，對所述測試樣本集進行循環遍歷，依次讀取所述測試樣本集中的樣本；

步驟S3，對所述神經網絡的卷積層進行特征提取，將提取出來的高維特征進行t-SNE降維,并計算出降維特征的概率；

步驟S4，根據所述概率密度計算出真實數據和噪聲數據特征之間的KL散度，并評估模型。

2.根據權利要求1所述的一種基于KL散度的神經網絡模型性能評估方法，其特征在于，步驟S1中所述的測試樣本集，是由真實數據和噪聲數據，按照1:1的比例混合而成，所述噪聲數據是對真實數據添加隨機噪聲而生成的數據，具體計算公式為：

其中，f(x)表示添加隨機噪聲后的數據，x為輸人的真實數據，μ和σ分別表示真實數據的均值和標準差。

3.根據權利要求1所述的一種基于KL散度的神經網絡模型性能評估方法，其特征在于，步驟S3包括步驟：

步驟S301，對所述神經網絡的卷積層進行特征提取；

步驟S302，將提取出來的高維特征進行降維，具體計算公式為：

其中，，表示降維后的結果，t表示迭代次數，表示學習率，表示動量，F表示損失函數；

步驟S302，計算出降維特征的概率，具體計算公式為：

其中，為低維空間中特征點之間的概率，，表示初始化高維數據的結果。

4.根據權利要求3所述的一種基于KL散度的神經網絡模型性能評估方法，其特征在于，步驟S301中所述的對所述神經網絡的卷積層進行特征提取，包括提取神經網絡最后一層卷積層的特征和提取神經網絡多層卷積的融合特征。

5.根據權利要求1所述的一種基于KL散度的神經網絡模型性能評估方法，其特征在于，步驟S4包括步驟：

步驟S401，根據低維空間中特征點之間的概率，計算出真實數據特征與噪聲數據特征之間的KL散度，計算公式為：

其中，表示KL散度，表示真實數據特征點之間的概率，表示噪聲數據特征點之間的概率；

步驟S402，計算測試樣本集中真實數據和噪聲數據特征之間KL散度矩陣：

其中，表示KL散度，表示樣本量大小；

步驟S403，根據KL散度矩陣計算其行列式的值，具體公式如下：

步驟S404，根據行列式的值value評估模型的性能。

6.根據權利要求5所述的一種基于KL散度的神經網絡模型性能評估方法，其特征在于，步驟S404中所述的根據行列式的值value評估模型的性能，具體計算公式為：

其中，C表示測試數據集中樣本的類別數量。