[發明專利]訓練數據集的生成方法及裝置、電子設備、存儲介質

有效

• 申請號: 202011351822.6
• 申請日: 2020-11-25
• 公開（公告）號: CN112465020B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 張發恩;紀雙西
• 申請（專利權）人: 創新奇智（合肥）科技有限公司
• 主分類號: G06F18/23213
• 分類號: G06F18/23213;G06F18/214
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本申請提供了一種訓練數據集的生成方法及裝置、電子設備、存儲介質，該方法包括：獲取已分類的源數據集以及未分類的目標數據集；通過特征提取器提取源數據集的第一特征向量集以及目標數據集的第二特征向量集；根據第一特征向量集確定源數據集對應的類中心特征向量、根據第二特征向量集確定目標數據集的聚類標簽和聚類簇內平均特征向量；通過迭代優化特征提取器，使源數據集中樣本的特征向量與類中心特征向量之間，以及，聚類簇內元素的特征向量與聚類簇內平均特征向量之間的總體差異最小；根據目標數據集的聚類標簽以及聚類簇內元素，獲得訓練數據集。該方法可以降低人工標注的工作量，降低人工標注成本，提高標注精度。

技術領域

本申請涉及數據處理技術領域，特別涉及一種訓練數據集的生成方法?及裝置、電子設備、計算機可讀存儲介質。

背景技術

在零售場景進行商品分類識別中，經常性需要面對不同產品線的包裝?差異化、產品包裝的快速迭代更新，以及圖像采集過程中的圖片特征差異?化、產品種類數量巨大、部分類別數據冗余等問題；因此，在開始進行一?個新項目時，很難通過少量的數據和快速簡潔的算法對分類模型訓練數據?進行準備工作，而需要人工進行大量數據的分類標注工作來形成初始訓練?集；那么，如何對海量的無標注數據進行預劃分，并提高局部采樣質量，降低人工標注的初始數據量，而快速形成初始訓練集提升后續數據收集的?效率，是目前工作中一個非常重要且亟待解決的問題。

目前，對圖像分類數據的準備，主要通過對采集的全樣本圖片進行人?工分類標注，但是一次性需要處理的數據量可能非常巨大，全人工標注往?往會造成標注精度不高、標注成本高，而影響后續模型的迭代優化。

發明內容

本申請實施例提供了一種訓練數據集的生成方法，用于實現自動分類?標注，降低人工標注成本，提高標注精度。

本申請實施例提供了一種訓練數據集的生成方法，所述方法包括：

獲取已分類的源數據集以及未分類的目標數據集；

通過特征提取器提取所述源數據集的第一特征向量集以及所述目標數?據集的第二特征向量集；

根據所述第一特征向量集確定所述源數據集對應的類中心特征向量、?根據所述第二特征向量集確定所述目標數據集的聚類標簽和聚類簇內平均?特征向量；

通過迭代優化所述特征提取器，使所述源數據集中樣本的特征向量與?所述類中心特征向量之間，以及，聚類簇內元素的特征向量與聚類簇內平?均特征向量之間的總體差異最小；

根據所述目標數據集的聚類標簽以及聚類簇內元素，獲得訓練數據集。

在一實施例中，所述通過特征提取器提取所述源數據集的第一特征向?量集以及所述目標數據集的第二特征向量集，包括：

通過特征提取器提取所述源數據集中每個樣本的特征向量，得到所述?第一特征向量集；

通過特征提取器提取所述目標數據集中每個元素的特征向量，得到所?述第二特征向量集。

在一實施例中，所述根據所述第一特征向量集確定所述源數據集對應?的類中心特征向量，包括：

計算所述第一特征向量集中多個樣本的特征向量的均值，得到所述源?數據集對應的類中心特征向量。

在一實施例中，所述根據所述第二特征向量集確定所述目標數據集的?聚類標簽和聚類簇內平均特征向量，包括：

利用聚類算法，對所述第二特征向量集進行聚類劃分，獲得聚類簇；

根據所述聚類簇內每個元素的特征向量，確定所述聚類簇的聚類標簽?以及聚類簇內平均特征向量；

在一實施例中，對所述第二特征向量集進行聚類劃分之后，所述方法?還包括：

獲取未聚類的孤立點集；