[發明專利]深度學習誤識別數據統計分析方法

在審

• 申請號: 202211280357.0
• 申請日: 2022-10-19
• 公開（公告）號: CN115470868A
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 占華程;呂雯怡;王國鵬;劉杰;吳東旭
• 申請（專利權）人: 上海機器人產業技術研究院有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 上海璀匯知識產權代理事務所(普通合伙) 31367
• 代理人: 王文穎

本發明涉及一種深度學習誤識別數據統計分析方法，結合訓練樣本和分類預測結果，將分類結果和真實標簽一致的概率和樣本出現概率相結合作為分類效果的評估。對現有分類器的分類效果做出精確評判，進一步指導分類器模型訓練。可以評估分類器整體的分類效果，還可給出每一個類別的分類效果，對于指導訓練模型具有很大的意義。

技術領域

本發明涉及一種數據識別評估技術，特別涉及一種深度學習誤識別數據統計分析方法。

背景技術

在深度學習領域，分類任務是將樣本分成兩個類別以上的問題。由于模型的局限性，所以對分類結果的好壞判別顯得尤為重要，選擇正確的評價指標能夠幫助提升模型的準確度。

目前基于混淆矩陣的常用評價指標有：準確度、Kappa系數和F1值；以三階混淆矩陣為例。

準確率的定義是預測正確的結果占總樣本的百分比，其公式如下：

A、B、C分別代表3種類別被正確分類的樣本數，W是樣本總數；當各類樣本數不均衡時，通過準確率不能夠很好的評估分類的好壞。

F1值是以每個類別為基礎進行定義的，包括兩個部分：準確率P和召回率 R，兩者的調和平均數即是F1值，其計算公式如下：

β是調節系數，通常根據實際場景量化β值，但是F1值無法給出單個類別的分類評估結果。

Kappa系數是統計學中的概念，其計算公式為：

其中P₀是準確度，row_i和col_i分別代表第i個類別的真實樣本個數和分類預測的樣本個數。Kappa系數仍然不能給出單個類別分類結果的準確率評估，同時，這種等級劃分的適用范圍有限,缺乏一定的合理性,不能適應應用場景的變化遷移和滿足用戶特定的具體需求。

在機器學習領域，多分類任務是指將樣本實例分為3個及以上類別之一的問題(將樣本實例分類為2個類別之一稱為二分類)。由于分類算法和模型的局限性，對分類器的分類結果進行準確性評估是一個必須面對的問題。

另一方面，由于分類器過擬合現象的存在，恰當地選擇準確率評價指標顯得十分重要。現有的一些評價指標，諸如準確率、Kappa系數和F1值等，都是基于混淆矩陣對總體分類效果進行的評估。它們很難給出單個類別的分類效果，這在某些實際應用中是不足以滿足用戶需求。

發明內容

針對分類器準確率有效評估問題，提出了一種深度學習誤識別數據統計分析方法，結合訓練樣本和分類預測結果對現有分類器的分類效果做精確評判，進一步指導分類器模型訓練。

本發明的技術方案為：一種深度學習誤識別數據統計分析方法，具體包括如下步驟：

1)數據采集：采集所有類別真實樣本的總數x、被識別分類出的樣本數y、第i 個類別的真實樣本數量x_i、第i個類別的被預測出樣本數量數y_i、第i個類別的樣本中被正確預測的樣本數量、訓練總樣本數w和類別總數n；

2)計算第i個類別的分類效率R(x_i|y_i)：為第i個類別進行正確分類的概率P(y_i|a_i) 與樣本被預測為此類別的概率P(y_i)之差R(x_i|y_i)＝P(y_i|a_i)-P(y_i)；