[發明專利]數據集蒸餾方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010498711.1
• 申請日: 2020-06-04
• 公開（公告）號: CN111860572A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 彭啟明;路華;曾凱;羅斌
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 谷春靜

1.一種數據集蒸餾方法，包括：

針對待處理的原始數據集，隨機初始化N個蒸餾數據，N為大于一的正整數，并執行以下預定處理：

利用所述原始數據集及N個蒸餾數據訓練數據真實性判別模型，根據所述數據真實性判別模型對N個蒸餾數據進行更新；

利用N個蒸餾數據訓練分類模型，所述分類模型為對應于所述原始數據集對應的分類任務的分類模型，根據所述原始數據集及所述分類模型對N個蒸餾數據進行更新；

若確定符合終止條件，則將最新得到的N個蒸餾數據作為所需的數據集蒸餾結果，否則，重復執行所述預定處理。

2.根據權利要求1所述的方法，其中，所述隨機初始化N個蒸餾數據包括：所述蒸餾數據為矩形形式，對所述矩陣中的元素值進行隨機初始化。

3.根據權利要求1所述的方法，其中，所述利用所述原始數據集及N個蒸餾數據訓練數據真實性判別模型包括：

分別為所述原始數據集中的各原始數據分配一個第一標簽，所述第一標簽用于標識對應的數據為原始數據；分別為各蒸餾數據分配一個第二標簽，所述第二標簽用于標識對應的數據為蒸餾數據；根據各原始數據、各蒸餾數據及對應的標簽，訓練所述數據真實性判別模型。

4.根據權利要求1所述的方法，其中，所述根據所述數據真實性判別模型對N個蒸餾數據進行更新包括：

針對任一蒸餾數據，分別進行以下處理：將所述蒸餾數據輸入所述數據真實性判別模型，根據輸出的損失值，對所述蒸餾數據進行梯度更新。

5.根據權利要求1所述的方法，其中，所述利用N個蒸餾數據訓練分類模型包括：

分別為各蒸餾數據分配一個分類標簽，所述分類標簽用于標識對應的蒸餾數據所屬的分類；根據各蒸餾數據及對應的分類標簽訓練所述分類模型。

6.根據權利要求1所述的方法，其中，所述根據所述原始數據集及所述分類模型對N個蒸餾數據進行更新包括：

分別將所述原始數據集中的各原始數據輸入所述分類模型，根據輸出的各損失值，對N個蒸餾數據進行梯度更新。

7.根據權利要求1所述的方法，還包括：所述根據所述原始數據集及所述分類模型對N個蒸餾數據進行更新之后，將所設置的計數參數的取值加一；

所述確定符合終止條件包括：若加一后所述計數參數的取值等于預定閾值，則確定符合終止條件，所述計數參數的初始取值為0。

8.一種數據集蒸餾裝置，包括：初始化模塊以及蒸餾模塊；

所述初始化模塊，用于針對待處理的原始數據集，隨機初始化N個蒸餾數據，N為大于一的正整數；

所述蒸餾模塊，用于執行以下預定處理：利用所述原始數據集及N個蒸餾數據訓練數據真實性判別模型，根據所述數據真實性判別模型對N個蒸餾數據進行更新；利用N個蒸餾數據訓練分類模型，所述分類模型為對應于所述原始數據集對應的分類任務的分類模型，根據所述原始數據集及所述分類模型對N個蒸餾數據進行更新；若確定符合終止條件，則將最新得到的N個蒸餾數據作為所需的數據集蒸餾結果，否則，重復執行所述預定處理。

9.根據權利要求8所述的裝置，其中，所述蒸餾數據為矩形形式，所述初始化模塊對所述矩陣中的元素值進行隨機初始化。

10.根據權利要求8所述的裝置，其中，所述蒸餾模塊分別為所述原始數據集中的各原始數據分配一個第一標簽，所述第一標簽用于標識對應的數據為原始數據，分別為各蒸餾數據分配一個第二標簽，所述第二標簽用于標識對應的數據為蒸餾數據，根據各原始數據、各蒸餾數據及對應的標簽，訓練所述數據真實性判別模型。

11.根據權利要求8所述的裝置，其中，所述蒸餾模塊針對任一蒸餾數據，分別進行以下處理：將所述蒸餾數據輸入所述數據真實性判別模型，根據輸出的損失值，對所述蒸餾數據進行梯度更新。