[發明專利]一種深度學習模型的訓練方法、裝置、設備及存儲介質

有效

• 申請號: 202210582633.2
• 申請日: 2022-05-26
• 公開（公告）號: CN114676795B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 范高俊;曾煒;王暉
• 申請（專利權）人: 鵬城實驗室
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 孫果

本發明涉及模型訓練技術領域，具體是涉及一種深度學習模型的訓練方法、裝置、設備及存儲介質。本發明首先根據待訓練的深度學習模型所需要的訓練數據集的容量選擇將訓練數據集存儲至本地節點的存儲方式，之后完成訓練數據集在本地節點的存儲操作，最后本地節點采用訓練數據集訓練深度學習模型。本發明根據訓練數據集的容量將訓練數據集存儲至本地節點，能夠節省存儲數據所需要的時間，進而節省了訓練所需要的整體時間，從而提高了訓練效率。

技術領域

本發明涉及模型訓練技術領域，具體是涉及一種深度學習模型的訓練方法、裝置、設備及存儲介質。

背景技術

深度學習是業界逐漸流行的機器學習方法，可被用于圖像、語音、視頻、機器翻譯等多種場景。以機器翻譯為例，基于神經網絡的機器翻譯的效果明顯提升。目前在某些語種和場景下，譯文質量甚至可以達到人工翻譯的水平。數據并行是對深度學習模型進行分布式訓練的一種形式，其把訓練數據分成多份，在不同計算節點上訓練。如果計算節點沒有共享的公共內存，只有容量受限的本地內存，而訓練數據集的規模很大，無法存儲于本地內存，就需要對訓練數據集進行劃分，一次性全部分配到各個計算節點上，然后計算節點依據各自分配的局部數據對深度學習模型進行訓練。在分布式訓練過程中，各計算節點需要與其他節點進行通信，以交換梯度數據。

現有技術在將訓練數據集分配至本地節點（計算節點）時并沒有考慮訓練數據集的容量，導致節點依據分配的訓練數據集訓練深度學習模型的效率較低。

綜上所述，現有技術訓練深度學習模型的效率較低。

因此，現有技術還有待改進和提高。

發明內容

為解決上述技術問題，本發明提供了一種深度學習模型的訓練方法、裝置、設備及存儲介質，解決了現有技術訓練深度學習模型效率較低的問題。

為實現上述目的，本發明采用了以下技術方案：

第一方面，本發明提供一種深度學習模型的訓練方法，其中，包括：

獲取訓練數據集的數據容量；

依據所述數據容量，存儲所述訓練數據集至本地節點；

依據存儲至所述本地節點上的所述訓練數據集，完成所述深度學習模型的訓練。

在一種實現方式中，所述依據所述數據容量，存儲所述訓練數據集至本地節點，包括：

當所述數據容量小于與所述訓練數據集所對應的預設容量，得到本地存儲方式；

依據所述本地存儲方式，將數據庫中的所述訓練數據集整體下載至所述本地節點，所述數據庫位于所述本地節點的外部。

在一種實現方式中，所述依據存儲至所述本地節點上的所述訓練數據集，完成所述深度學習模型的訓練，包括：

依據所述訓練數據集訓練所述深度學習模型，直至訓練時長達到訓練預設時長時，得到預訓練之后的所述深度學習模型；

計算預訓練之后的所述深度學習模型的模型訓練精度；

依據所述模型訓練精度和與所述深度學習模型對應的模型預設訓練精度，完成所述深度學習模型的訓練。

在一種實現方式中，所述依據所述模型訓練精度和與所述深度學習模型對應的模型預設訓練精度，完成所述深度學習模型的訓練，包括：

當所述模型訓練精度小于所述模型預設訓練精度，得到本地分布式存儲方式，所述本地分布式存儲方式所對應的節點數量大于所述本地存儲方式所對應的節點數量；

依據所述本地分布式存儲方式，從所述數據庫中重新下載數據至所述本地節點；

依據重新下載的數據，更新所述訓練數據集；