[發(fā)明專利]基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法及裝置

在審

• 申請?zhí)枺?/td>: 202110021199.6
• 申請日: 2021-01-08
• 公開（公告）號: CN112733932A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 張樂平;侯磊;張博;李海峰;王光曦
• 申請（專利權）人: 北京匠數(shù)科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京盛凡佳華專利代理事務所(普通合伙) 11947
• 代理人: 王翠

1.基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法，其特征在于，包括以下步驟：

步驟一、隨機提取全部訓練數(shù)據(jù)中第一預設比例的圖像作為本輪訓練數(shù)據(jù)；

步驟二、對所述本輪訓練數(shù)據(jù)采用模型訓練算法完成本輪次的訓練和驗證，更新圖像分類模型的參數(shù)；

步驟三、采用參數(shù)更新后的所述圖像分類模型對剩余訓練數(shù)據(jù)中的圖像進行前向推理，并提取推理結果中與標注不符的訓練數(shù)據(jù)，當提取的推理結果中與標注不符的訓練數(shù)據(jù)達到預設數(shù)量時停止前向推理；

步驟四、將步驟三中所述提取的推理結果中與標注不符的訓練數(shù)據(jù)進行相似度聚合；對相似度聚合后的每個類別提取第二預設比例的訓練數(shù)據(jù)圖像作為下一個輪次的訓練數(shù)據(jù)；

步驟五、將步驟四提取的第二預設比例的訓練數(shù)據(jù)圖像與上一訓練輪次的圖像組合，打亂次序后作為更新后的訓練數(shù)據(jù)集。

2.根據(jù)權利要求1所述的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法，其特征在于，將更新后的所述訓練數(shù)據(jù)集作為下一訓練輪次的訓練數(shù)據(jù)；重復步驟二至步驟五，使每一輪次的訓練數(shù)據(jù)逐次遞增，直到訓練完預設輪次得到最終圖像分類模型。

3.根據(jù)權利要求2所述的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法，其特征在于，當執(zhí)行第二輪次的數(shù)據(jù)訓練時，將步驟四提取的第二預設比例的訓練數(shù)據(jù)圖像與步驟一中的第一預設比例的圖像組合形成第二輪次的訓練數(shù)據(jù)集。

4.根據(jù)權利要求1所述的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法，其特征在于，所述步驟一中，隨機提取全部訓練數(shù)據(jù)1/10的圖像作為第一輪次的訓練數(shù)據(jù)。

5.根據(jù)權利要求1所述的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法，其特征在于，步驟二中的模型訓練算法采用梯度下降法、牛頓算法、共軛梯度法、準牛頓法或Levenberg-Marquardt算法中的一種或多種。

6.根據(jù)權利要求1所述的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法，其特征在于，步驟三中，采用參數(shù)更新后的所述圖像分類模型對剩余訓練數(shù)據(jù)中的圖像進行前向推理，且剩余訓練數(shù)據(jù)中的圖像全部完成時停止前向推理。

7.根據(jù)權利要求1所述的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法，其特征在于，步驟四中，相似度聚合采用K-均值聚類算法。

8.基于訓練數(shù)據(jù)相似度聚合的模型加速訓練裝置，采用如權利要求1至7任一項的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練方法，其特征在于，包括：

訓練數(shù)據(jù)提取模塊，用于隨機提取全部訓練數(shù)據(jù)中第一預設比例的圖像作為本輪訓練數(shù)據(jù)；

模型訓練模塊，用于對所述本輪訓練數(shù)據(jù)采用模型訓練算法完成本輪次的訓練和驗證，更新圖像分類模型的參數(shù)；

前向推理模塊，用于采用參數(shù)更新后的所述圖像分類模型對剩余訓練數(shù)據(jù)中的圖像進行前向推理，并提取推理結果中與標注不符的訓練數(shù)據(jù)，當提取的推理結果中與標注不符的訓練數(shù)據(jù)達到預設數(shù)量時停止前向推理；

相似度聚合模塊，用于將前向推理模塊中所述提取的推理結果中與標注不符的訓練數(shù)據(jù)進行相似度聚合；

訓練數(shù)據(jù)再提取模塊，用于對相似度聚合后的每個類別提取第二預設比例的訓練數(shù)據(jù)圖像作為下一個輪次的訓練數(shù)據(jù)；

訓練數(shù)據(jù)組合模塊，用于將訓練數(shù)據(jù)再提取模塊中提取的第二預設比例的訓練數(shù)據(jù)圖像與上一訓練輪次的圖像組合，打亂次序后作為更新后的訓練數(shù)據(jù)集。

9.根據(jù)權利要求8所述的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練裝置，其特征在于，訓練數(shù)據(jù)提取模塊隨機提取全部訓練數(shù)據(jù)1/10的圖像作為第一輪次的訓練數(shù)據(jù)；

模型訓練模塊中的模型訓練算法采用梯度下降法、牛頓算法、共軛梯度法、準牛頓法或Levenberg-Marquardt算法中的一種或多種。

10.根據(jù)權利要求8所述的基于訓練數(shù)據(jù)相似度聚合的模型加速訓練裝置，其特征在于，前向推理模塊中，采用參數(shù)更新后的所述圖像分類模型對剩余訓練數(shù)據(jù)中的圖像進行前向推理，且剩余訓練數(shù)據(jù)中的圖像全部完成時停止前向推理；

相似度聚合模塊中，相似度聚合采用K-均值聚類算法。