[發明專利]模型訓練方法、裝置和存儲介質

有效

• 申請號: 202210700375.3
• 申請日: 2022-06-20
• 公開（公告）號: CN115186738B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 焦學武;駱新生;李競雪;楊俊超;宋譽文;邢文強
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06V10/774;G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種模型訓練方法，所述方法包括：

獲取模型所需要的原始數據集合；

對所述原始數據集合進行劃分，以得到多個數據子集合；

根據所述模型所對應的特征處理流程，并行地對所述多個數據子集合進行處理，以得到所述多個數據子集合各自的樣本數據子集合；

將所述樣本數據子集合保存到指定存儲空間中；

根據所述指定存儲空間中當前所存儲的樣本數據子集合，開始訓練所述模型；

在所述方法應用在電子設備中的情況下，所述電子設備包括網卡、圖形處理器GPU和中央處理器CPU，所述獲取模型所需要的原始數據集合，包括：

確定所述模型所對應的特征處理流程進行特征處理時所需要的列字段名稱；

確定與所述模型對應的原始數據表，其中，所述原始數據表中以列式存儲方式存儲多條原始數據；

通過所述網卡從所述原始數據表中，分批讀取所述列字段名稱對應的列數據；

將每批次列數據發送至所述GPU，以通過所述GPU對每批次列數據進行解碼處理；

將每批次列數據的解碼處理結果發送至所述CPU，以通過所述CPU對所述解碼處理結果中屬于同一條原始數據中的列數據進行組合，以得到每批次列數據的原始數據子集合；

對所有批次列數據的原始數據子集合進行合并，以得到所述原始數據集合;

所述特征處理流程包括特征計算步驟，所述特征計算步驟包括多個特征計算子步驟以及所述多個特征計算子步驟之間的執行依賴關系，所述多個特征計算子步驟中的第一特征計算子步驟被配置在所述GPU上運行，所述多個特征計算子步驟中除所述第一特征計算子步驟之外的第二特征計算子步驟被配置在所述CPU上運行；

其中，所述根據所述模型所對應的特征處理流程，并行地對所述多個數據子集合進行處理，以得到所述多個數據子集合各自的樣本數據子集合，包括：

根據所述多個數據子集合所對應的時間區間的時間先后順序，確定對所述多個數據子集合進行處理的順序；

在按照所述順序對多個數據子集合進行處理的過程中，針對處理到的當前數據子集合，在所述特征處理流程中的第一數據處理步驟對所述當前數據子集合處理完成時，開始根據所述特征處理流程對與所述當前數據子集合相鄰的下一個數據子集合進行處理，直至處理到最后一個數據子集合；

針對每個所述數據子集合，根據所述特征計算步驟對所述數據子集合計算得到的特征計算結果，確定所述數據子集合的樣本數據子集合。

2.根據權利要求1所述的方法，其中，在所述根據所述指定存儲空間中當前所存儲的樣本數據子集合，開始訓練所述模型之前，所述方法還包括：

確定所述指定存儲空間中當前存儲的樣本數據子集合的數量大于或者等于預設數量閾值。

3.根據權利要求1所述的方法，其中，所述原始數據集合包括多條原始數據，所述對所述原始數據集合進行劃分，以得到多個數據子集合，包括：

按照各條原始數據的生成時間，對所述多條原始數據進行劃分，以得到多個數據子集合，其中，所述多個數據子集合所對應的時間區間是各不相同的。

4.根據權利要求1所述的方法，其中，所述特征計算結果的確定方式如下：

獲取所述特征計算步驟對應的有向無環圖，其中，所述有向無環圖是以所述特征計算步驟中的各個特征計算子步驟為節點，各個特征計算子步驟之間的執行依賴關系為有向邊建立的；

確定出所述特征處理流程中執行順序與所述特征計算步驟相鄰的上一個數據處理步驟；

針對每個所述數據子集合，獲取所述上一個數據處理步驟對所述數據子集合進行處理后所得到的至少一個處理結果；

根據所述至少一個處理結果和所述有向無環圖，確定所述特征計算步驟的特征計算結果。