[發明專利]數據集蒸餾方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010498711.1
• 申請日: 2020-06-04
• 公開（公告）號: CN111860572A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 彭啟明;路華;曾凱;羅斌
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 谷春靜

本申請公開了數據集蒸餾方法、裝置、電子設備及存儲介質，涉及深度學習領域，其中的方法可包括：針對待處理的原始數據集，隨機初始化N個蒸餾數據，N為大于一的正整數，并執行以下預定處理：利用原始數據集及N個蒸餾數據訓練數據真實性判別模型，根據數據真實性判別模型對N個蒸餾數據進行更新；利用N個蒸餾數據訓練分類模型，分類模型為對應于原始數據集對應的分類任務的分類模型，根據原始數據集及分類模型對N個蒸餾數據進行更新；若確定符合終止條件，則將最新得到的N個蒸餾數據作為所需的數據集蒸餾結果，否則，重復執行所述預定處理。應用本申請所述方案，可提升蒸餾效果等。

技術領域

本申請涉及計算機應用技術，特別涉及深度學習領域的數據集蒸餾方法、裝置、電子設備及存儲介質。

背景技術

隨著計算能力的不斷提升，深度學習技術得到了迅速發展。通常來說，需要采用大規模的數據集作為訓練集，進行深度學習模型的訓練。

數據量增大的同時，也會伴隨著一系列問題的出現，如大規模的數據集中通常存在大量的冗余信息，過多的冗余信息會造成模型的學習結果與期望結果發生偏差，另外也會使模型的訓練時長大幅增長等。

為此，可進行數據集的蒸餾，但目前還沒有較好的實現方式，如目前多采用主動學習的方式，每個周期從未標注的原始數據集中篩選出一部分對于模型提升最大的數據子集送給標注專家進行標注，從而能夠在盡量少的數據的基礎上得到盡量好的模型效果，間接實現數據壓縮的目的，但這種方式的周期較長，需要耗費較大的人力和時間成本等。

發明內容

本申請提供了數據集蒸餾方法、裝置、電子設備及存儲介質。

一種數據集蒸餾方法，包括：

針對待處理的原始數據集，隨機初始化N個蒸餾數據，N為大于一的正整數，并執行以下預定處理：

利用所述原始數據集及N個蒸餾數據訓練數據真實性判別模型，根據所述數據真實性判別模型對N個蒸餾數據進行更新；

利用N個蒸餾數據訓練分類模型，所述分類模型為對應于所述原始數據集對應的分類任務的分類模型，根據所述原始數據集及所述分類模型對N個蒸餾數據進行更新；

若確定符合終止條件，則將最新得到的N個蒸餾數據作為所需的數據集蒸餾結果，否則，重復執行所述預定處理。

一種數據集蒸餾裝置，包括：初始化模塊以及蒸餾模塊；

所述初始化模塊，用于針對待處理的原始數據集，隨機初始化N個蒸餾數據，N為大于一的正整數；

所述蒸餾模塊，用于執行以下預定處理：利用所述原始數據集及N個蒸餾數據訓練數據真實性判別模型，根據所述數據真實性判別模型對N個蒸餾數據進行更新；利用N個蒸餾數據訓練分類模型，所述分類模型為對應于所述原始數據集對應的分類任務的分類模型，根據所述原始數據集及所述分類模型對N個蒸餾數據進行更新；若確定符合終止條件，則將最新得到的N個蒸餾數據作為所需的數據集蒸餾結果，否則，重復執行所述預定處理。

一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如以上所述的方法。

一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行如以上所述的方法。