[發明專利]數據集的質量評估方法、裝置、設備以及存儲介質

在審

• 申請號: 202010947219.8
• 申請日: 2020-09-10
• 公開（公告）號: CN112101447A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 許順楠;甘露;陳亮輝;方軍
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種數據集的質量評估方法，包括：

對數據集進行第一診斷，生成第一診斷報告，其中，所述第一診斷包括至少一條評估規則，所述評估規則表征數據集中樣本的質量維度；

對數據集進行第二診斷，生成第二診斷報告，其中，所述第二診斷包括至少一條評估規則，所述評估規則表征數據集中樣本特征的質量維度；

基于所述第一診斷報告和/或所述第二診斷報告，評估所述數據集的質量。

2.根據權利要求1所述的方法，所述樣本的質量維度包括樣本數量、樣本缺失、樣本漂移、樣本沖突、樣本重復中的至少一種。

3.根據權利要求1所述的方法，所述樣本特征的質量維度包括特征漂移、特征缺失、特征覆蓋、特征值權重、特征穩定性、特征重要性中的至少一種。

4.根據權利要求1所述的方法，其中，所述第一診斷報告至少包括數據集中樣本數量漂移的第一離散系數；以及所述基于所述第一診斷報告，評估所述數據集的質量，包括：

將所述第一離散系數高于第一預定閾值的樣本作為質量不合格的樣本。

5.根據權利要求1所述的方法，其中，所述第二診斷報告至少包括數據集中樣本特征漂移的第二離散系數；以及所述基于所述第二診斷報告，評估所述數據集的質量，包括：

將所述第二離散系數高于第二預定閾值的樣本特征作為質量不合格的樣本特征。

6.根據權利要求1所述的方法，其中，所述對數據集進行第二診斷，生成第二診斷報告還包括：

若基于所述第一診斷報告對數據集進行質量評估的結果為合格，對數據集進行第二診斷，生成第二診斷報告。

7.根據權利要求1所的方法，所述方法還包括：

對數據集中的樣本進行區分，得到數據集中的正樣本和負樣本。

8.一種數據集的質量評估裝置，其特征在于，所述裝置包括：

第一診斷模塊，被配置為對數據集進行第一診斷，生成第一診斷報告，其中，所述第一診斷包括至少一條評估規則，所述評估規則表征數據集中樣本的質量維度；

第二診斷模塊，被配置為對數據集進行第二診斷，生成第二診斷報告，其中，所述第二診斷包括至少一條評估規則，所述評估規則表征數據集中樣本特征的質量維度；

評估模塊，被配置為基于所述第一診斷報告和/或所述第二診斷報告，評估所述數據集的質量。

9.根據權利要求7所述的裝置，所述樣本的質量維度包括樣本數量、樣本缺失、樣本漂移、樣本沖突、樣本重復中的至少一種。

10.根據權利要求7所述的裝置，所述樣本特征的質量維度包括特征漂移、特征缺失、特征覆蓋、特征值權重、特征穩定性、特征重要性中的至少一種。

11.根據權利要求7所述的裝置，所述第一診斷報告至少包括數據集中樣本數量漂移的第一離散系數；以及所述第一診斷模塊進一步被配置為：

將所述第一離散系數高于第一預定閾值的樣本作為質量不合格的樣本。

12.根據權利要求7所述的裝置，所述第二診斷報告至少包括數據集中樣本特征漂移的第二離散系數；以及所述第二診斷模塊進一步被配置為：

將所述第二離散系數高于第二預定閾值的樣本特征作為質量不合格的樣本特征。

13.根據權利要求7所述的裝置，所述第二診斷模塊進一步被配置為：若基于所述第一診斷報告對數據集進行質量評估的結果為合格，對數據集進行第二診斷，生成第二診斷報告。

14.根據權利要求7所述的裝置，所述裝置還包括：

區分模塊，被配置為對數據集中的樣本進行區分，得到數據集中的正樣本和負樣本。