[發(fā)明專利]分類精度評價方法、裝置、計算機設備和存儲介質

在審

• 申請?zhí)枺?/td>: 202110503779.9
• 申請日: 2021-05-10
• 公開（公告）號: CN113052270A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設計）人: 劉皓辰;譚澤龍;計哲;黃遠;孫曉晨;沈亮;李鵬;萬辛;倪善金;郭敏;張衛(wèi)強
• 申請（專利權）人: 清華大學;國家計算機網(wǎng)絡與信息安全管理中心
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06Q10/06
• 代理公司: 北京華進京聯(lián)知識產權代理有限公司 11606
• 代理人: 樊春燕

1.一種分類精度評價方法，其特征在于，所述方法包括：

獲取有害語音樣本集，所述有害語音樣本集包括多個有害語音樣本以及每個有害語音樣本對應的樣本類別標簽；

將所述有害語音樣本集中的每個有害語音樣本輸入待評價的有害語音分類模型中進行分類，得到預測類別標簽；

在預設的分類層級中，確定與所述預測類別標簽和所述有害語音樣本的樣本類別標簽對應的目標分類；其中，所述目標分類為包含所述預測類別標簽和所述樣本類別標簽的最低層級的分類；

根據(jù)所述目標分類確定所述待評價的有害語音分類模型的分類精確程度。

2.根據(jù)權利要求1所述的方法，其特征在于，所述在預設的分類層級中，確定與所述預測類別標簽和所述有害語音樣本的樣本類別標簽對應的目標分類，包括：

在預設的分類層級中，逐層向上查找并比對所述預測類別標簽的上層分類以及所述有害語音樣本的樣本類別標簽的上層分類；

當所述預測類別標簽的上層分類與所述有害語音樣本的樣本類別標簽的上層分類相同時，將相同的分類作為目標分類。

3.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述目標分類確定所述待評價的有害語音分類模型的分類精確程度，包括：

根據(jù)所述目標分類以及不在目標分類中的最小類確定每個樣本標簽的寄生最小類組，其中，所述最小類為所述有害語音樣本集中各樣本類別標簽對應的分類；

根據(jù)每一個樣本對應的寄生最小類組計算歸類切量；

將所有樣本的歸類切量相加得到總歸類切量；

根據(jù)所述總歸類切量和總最大歸類切量計算所述分類精確程度。

4.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)每一個樣本對應的寄生最小類組計算歸類切量，包括：

當所述有害語音樣本的預測類別標簽與樣本類別標簽相同時，根據(jù)最小類的集合中每個最小類中的樣本數(shù)與總樣本數(shù)計算歸類切量；

當所述有害語音樣本的預測類別標簽與樣本類別標簽不同時，根據(jù)目標分類中的樣本數(shù)、不在目標分類中的每個最小類的樣本數(shù)以及總樣本數(shù)計算歸類切量。

5.根據(jù)權利要求3所述的方法，其特征在于，所述分類精確程度包括總歸類切率；所述根據(jù)所述總歸類切量和總最大歸類切量計算所述分類精確程度，包括：

根據(jù)所述樣本類別標簽的最小類計算最大歸類切量，根據(jù)所述最大歸類切量計算總最大歸類切量；

根據(jù)所述總歸類切量與所述總最大歸類切量計算總歸類切率。

6.根據(jù)權利要求3所述的方法，其特征在于，所述分類精確程度包括總歸類損失率；

所述根據(jù)所述總歸類切量和總最大歸類切量計算所述分類精確程度，包括：

根據(jù)所述總歸類切量與總最大歸類切量計算總歸類損失量；

根據(jù)所述總歸類損失量和所述總最大歸類切量計算總歸類損失率。

7.根據(jù)權利要求1所述的方法，其特征在于，所述分類層級的確定過程，包括：

將所述有害語音樣本集中各樣本類別標簽對應的分類作為所述分類層級的最小類；

根據(jù)所述最小類和預設的迭代歸類算法進行歸類處理，得到至少一個歸類集合，其中，一個所述歸類集合包含一次歸類得到的分類；

根據(jù)最小類和所述至少一個歸類集合包含的分類之間的關聯(lián)關系，建立所述分類層級。

8.一種分類精度評價裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取有害語音樣本集，所述有害語音樣本集包括多個有害語音樣本以及每個有害語音樣本對應的樣本類別標簽；

分類模塊，用于將所述有害語音樣本集中的每個有害語音樣本輸入待評價的有害語音分類模型中進行分類，得到預測類別標簽；

目標分類確定模塊，在預設的分類層級中，確定與所述預測類別標簽和所述有害語音樣本的樣本類別標簽對應的目標分類；其中，所述目標分類為包含所述預測類別標簽和所述樣本類別標簽的最低層級的分類；

確定模塊，用于根據(jù)所述目標分類確定所述待評價的有害語音分類模型的分類精確程度。