[發明專利]基于訓練數據相似度聚合的模型加速訓練方法及裝置

在審

• 申請號: 202110021199.6
• 申請日: 2021-01-08
• 公開（公告）號: CN112733932A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 張樂平;侯磊;張博;李海峰;王光曦
• 申請（專利權）人: 北京匠數科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京盛凡佳華專利代理事務所(普通合伙) 11947
• 代理人: 王翠

基于訓練數據相似度聚合的模型加速訓練方法及裝置，以一份最小化的訓練數據作為起始，在每個輪次中應用隨機采樣和隨機增量的方式從當前模型的預測結果中提取預測不佳的數據，并且用聚類提取方式采樣額外的訓練數據，從而獲取最具有代表性的訓練信息，提高每個輪次的訓練效率。本發明減少每個輪次模型訓練的數據集規模，訓練時間大幅減少，聚類不需要精確結果，可減少迭代次數或使用更快速簡單的聚類方法，總體上每個輪次總訓練時間仍比原有全訓練集訓練減少很多；每個輪次選擇的訓練數據均有針對性，選用推理錯誤的圖像訓練，能夠最大程度的獲取反向傳播梯度，降低訓練時陷入局部最優解的概率，便于在訓練過程中動態調整，以達到最佳訓練結果。

技術領域

本發明涉及圖像檢測技術領域，具體涉及一種基于訓練數據相似度聚合的模型加速訓練方法及裝置。

背景技術

基于深度學習的圖像分類和圖像檢測技術，是人工智能領域廣泛應用的技術，其不同于傳統方法，需要對圖像進行基于規則的特征提取，進而針對特征向量進行訓練。基于深度學習的圖像檢測技術，能夠通過多層卷積神經網絡自動提取圖像特征，模型接收圖像的原始像素矩陣輸入，得到端到端的圖像識別結果。深度神經網絡模型由海量圖片訓練得到，具有更好的泛化能力，對于圖像分類的準確率和抗干擾能力遠強于傳統方法。

目前，基于深度學習的圖像檢測技術實現，大致分為如下幾個步驟：

(1)準備訓練數據(包括訓練集和驗證集)和數據增量方式；

(2)確定網絡模型結構；

(3)訓練模型；

(4)評估模型；

(5)部署模型執行計算。

其中訓練模型時，需要將訓練集數據按批次輸入模型，將模型前向計算得到的結果與數據標注進行差異計算得到損失值，并通過反向傳播算法得到本次計算損失相對于網絡參數的梯度，通過小批量隨機梯度下降方法更新參數值，更新后的模型在驗證集上對模型預測正確率進行評估。按上述步驟將所有訓練數據全部計算完畢為一個輪次，一般需要訓練多個輪次，直到驗證集正確率達到預設閾值或不再增加。

但是，上述過程為了使模型得到足夠的泛化能力，往往需要非常大規模的訓練數據(千萬級或以上)，每一個輪次要對所有的訓練數據進行一次前向計算和反向傳播，導致訓練時間很長，減慢了開發速度和迭代升級的速度。

另外，為了擴大訓練數據規模，一般在準備階段會使用數據增廣技術，對訓練圖像隨機施加變換操作(如高斯濾波、鏡像翻轉、顏色轉換等)，從而從一張原始圖像得到多張相似的增廣圖像，用于提高模型訓練后的泛化能力。然而這樣的增廣操作會使訓練數據中增加很多冗余重復的信息，拖慢了模型訓練的效率。

綜上亟需一種實現深度神經網絡模型加速訓練技術方案。

發明內容

為此，本發明實施例提供一種基于訓練數據相似度聚合的模型加速訓練方法及裝置，以避免進行全數據集訓練為技術思路，盡量在每個輪次中使用當前模型預測不佳的數據作為訓練數據，從而獲取更大的反向傳播梯度，提高每個輪次的訓練效率。

為了實現上述目的，本發明的實施方式提供如下技術方案：基于訓練數據相似度聚合的模型加速訓練方法，包括以下步驟：

步驟一、隨機提取全部訓練數據中第一預設比例的圖像作為本輪訓練數據；

步驟二、對所述本輪訓練數據采用模型訓練算法完成本輪次的訓練和驗證，更新圖像分類模型的參數；

步驟三、采用參數更新后的所述圖像分類模型對剩余訓練數據中的圖像進行前向推理，并提取推理結果中與標注不符的訓練數據，當提取的推理結果中與標注不符的訓練數據達到預設數量時停止前向推理；