[發明專利]模型訓練方法、裝置和存儲介質

有效

• 申請號: 202210700375.3
• 申請日: 2022-06-20
• 公開（公告）號: CN115186738B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 焦學武;駱新生;李競雪;楊俊超;宋譽文;邢文強
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06V10/774;G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

本公開提供了一種模型訓練方法、裝置和存儲介質，涉及人工智能技術領域，具體涉及深度學習等技術領域。具體實現方案為：在對模型進行訓練的過程中，對模型所需要的原始數據集合進行劃分，以得到多個小批量的數據子集合，并基于模型所對應的特征處理流程，并行地對多個小批量的數據子集合進行處理，以得到多個小批量的數據子集合各自對應的樣本數據子集合，將樣本數據子集合保存到指定存儲空間中，根據指定存儲空間中當前所存儲的樣本數據子集合，開始訓練模型。由此，并行對多個小批量的原始數據進行處理，可提高獲取模型的樣本數據的效率，進而提高模型訓練的效率。

技術領域

本公開涉及計算機技術領域，涉及人工智能技術領域，具體涉及深度學習等技術領域，尤其涉及模型訓練方法、裝置和存儲介質。

背景技術

隨著科技的不斷發展，越來越多的領域采用模型來進行業務處理，例如，在自然語言處理領域中，通過模型對待處理的文本進行處理，或者，在圖像處理領域中，通過圖像分類模型對待處理的圖像進行分類。

相關技術中，如何對模型進行訓練，對于模型的快速應用是十分重要的。

發明內容

本公開提供了一種用于模型訓練方法、裝置和存儲介質。

根據本公開的一方面，提供了一種模型訓練方法，所述方法應用在電子設備中，所述方法包括：獲取模型所需要的原始數據集合；對所述原始數據集合進行劃分，以得到多個數據子集合；根據所述模型所對應的特征處理流程，并行地對所述多個數據子集合進行處理，以得到所述多個數據子集合各自的樣本數據子集合；將所述樣本數據子集合保存到指定存儲空間中；根據所述指定存儲空間中當前所存儲的樣本數據子集合，開始訓練所述模型。

根據本公開的另一方面，提供了一種模型訓練裝置，所述裝置應用在電子設備中，所述裝置包括：獲取模塊，用于獲取模型所需要的原始數據集合；劃分模塊，用于對所述原始數據集合進行劃分，以得到多個數據子集合；并行處理模塊，用于根據所述模型所對應的特征處理流程，并行地對所述多個數據子集合進行處理，以得到所述多個數據子集合各自的樣本數據子集合；保存模塊，用于將所述樣本數據子集合保存到指定存儲空間中；訓練模塊，用于根據所述指定存儲空間中當前所存儲的樣本數據子集合，開始訓練所述模型。

根據本公開的另一方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本公開的模型訓練方法。

根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行本公開實施例公開的模型訓練方法。

根據本公開的另一方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現本公開的模型訓練方法。

上述申請中的一個實施例具有如下優點或有益效果：

在對模型進行訓練的過程中，對模型所需要的原始數據集合進行劃分，以得到多個小批量的數據子集合，并基于模型所對應的特征處理流程，并行地對多個小批量的數據子集合進行處理，以得到多個小批量的數據子集合各自對應的樣本數據子集合，將樣本數據子集合保存到指定存儲空間中，根據指定存儲空間中當前所存儲的樣本數據子集合，開始訓練模型。由此，并行對多個小批量的原始數據進行處理，可提高獲取模型的樣本數據的效率，進而提高模型訓練的效率。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：

圖1是根據本公開第一實施例的示意圖；