[發明專利]一種數據選擇方法及裝置

在審

• 申請號: 202010475317.6
• 申請日: 2020-05-29
• 公開（公告）號: CN113743431A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 付彬;孫健;唐呈光;李楊;趙學敏
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 任媛;劉鐵生

1.一種數據選擇方法，所述方法包括：

獲得候選樣本集合，所述候選樣本集合包括屬于不同類別的多個候選樣本；

根據屬于同一類別的候選樣本，計算所述類別的不確定度；

根據不同類別的不確定度，計算所述候選樣本集合的類別不確定分布；

根據所述候選樣本集合的類別不確定分布，選擇第一類別中的第一候選樣本進入樣本池。

2.根據權利要求1所述的方法，其特征在于，所述選擇第一類別中的第一候選樣本進入樣本池，包括：

如果所述第一類別為所述樣本池中沒有的類別，則在所述第一類別的候選樣本中，選擇樣本不確定度最大的候選樣本，作為第一候選樣本；

如果所述第一類別為所述樣本池中已有的類別，則在所述樣本池中獲得屬于所述第一類別的第二樣本，選擇與所述第二樣本相關性均值最小的候選樣本，作為第一候選樣本。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

計算所述第一類別的候選樣本之間的相關性矩陣，所述相關性矩陣用于計算候選樣本之間的相關性。

4.根據權利要求2所述的方法，其特征在于，所述樣本不確定度通過如下方式計算：

基于文本特征的距離度量方法預測第三樣本屬于第一類別的信息熵；

和/或，基于機器學習模型的方法預測第三樣本屬于第一類別的信息熵；

和/或，基于預訓練模型的方法預測第三樣本屬于第一類別的信息熵；

根據所述第三樣本屬于第一類別的信息熵確定所述第三樣本的樣本不確定度。

5.根據權利要求2-4中任一項所述的方法，其特征在于，所述方法還包括：

如果所述樣本池中的樣本數量達到預設閾值，停止在所述候選樣本集合中選擇樣本。

6.根據權利要求1所述的方法，其特征在于，所述獲得候選樣本集合包括：

利用預置模型對用戶數據和擴展語料進行分類預測，生成樣本數據；

在所述樣本數據中選擇預測結果在預置范圍內的樣本數據組成候選樣本集合。

7.一種數據選擇裝置，所述裝置包括：

獲取單元，用于獲得候選樣本集合，所述候選樣本集合包括屬于不同類別的多個候選樣本；

第一確定單元，用于根據所述獲取單元得到的屬于同一類別的候選樣本，計算所述類別的不確定度；

第二確定單元，用于根據所述第一確定單元得到的不同類別的不確定度，計算所述候選樣本集合的類別不確定分布；

選擇單元，用于根據所述第二確定單元確定的候選樣本集合的類別不確定分布，選擇第一類別中的第一候選樣本進入樣本池。

8.根據權利要求7所述的裝置，其特征在于，所述選擇單元包括：

第一選擇模塊，用于如果所述第一類別為所述樣本池中沒有的類別，則在所述第一類別的候選樣本中，選擇樣本不確定度最大的候選樣本，作為第一候選樣本；

第二選擇模塊，用于如果所述第一類別為所述樣本池中已有的類別，則在所述樣本池中獲得屬于所述第一類別的第二樣本，選擇與所述第二樣本相關性均值最小的候選樣本，作為第一候選樣本。

9.根據權利要求8所述的裝置，其特征在于，所述選擇單元還包括：

計算模塊，用于在所述第二選擇模塊選擇第一候選樣本之前，計算所述第一類別的候選樣本之間的相關性矩陣，所述相關性矩陣用于計算候選樣本之間的相關性。

10.根據權利要求8所述的裝置，其特征在于，所述第一選擇模塊選擇第一候選樣本時，樣本不確定度通過如下方式計算：

基于文本特征的距離度量裝置預測第三樣本屬于第一類別的信息熵；

和/或，基于機器學習模型的裝置預測第三樣本屬于第一類別的信息熵；

和/或，基于預訓練模型的裝置預測第三樣本屬于第一類別的信息熵；

根據所述第三樣本屬于第一類別的信息熵確定所述第三樣本的樣本不確定度。