[發(fā)明專利]神經(jīng)網(wǎng)絡模型的訓練方法和訓練系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910618250.4
• 申請日: 2019-07-10
• 公開（公告）號: CN110751286A
• 公開（公告）日: 2020-02-04
• 發(fā)明（設計）人: 羅遠飛;涂威威;曹睿;陳雨強
• 申請（專利權）人: 第四范式(北京)技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 11286 北京銘碩知識產(chǎn)權代理有限公司
• 代理人: 曾世驍;田方

1.一種神經(jīng)網(wǎng)絡模型的訓練方法，所述方法包括：

獲取訓練數(shù)據(jù)記錄；

基于訓練數(shù)據(jù)記錄的屬性信息來生成訓練樣本的特征，并將訓練數(shù)據(jù)記錄的標記作為訓練樣本的標記；以及

利用訓練樣本的集合來訓練神經(jīng)網(wǎng)絡模型，

其中，在訓練神經(jīng)網(wǎng)絡模型的過程中，

針對神經(jīng)網(wǎng)絡模型之中的主體神經(jīng)網(wǎng)絡結構之中的至少一部分層，分別獲得與其中每層的輸出對應的層預測結果；

基于由神經(jīng)網(wǎng)絡模型的輸出層所輸出的預測結果與所述標記之間的差異以及每個層預測結果與所述標記之間的層預測差異來構建模型損失函數(shù)；以及

根據(jù)所述模型損失函數(shù)來調整所述神經(jīng)網(wǎng)絡模型。

2.如權利要求1所述的訓練方法，其中，分別獲得與其中每層的輸出對應的層預測結果的步驟包括：分別將所述每層的輸出經(jīng)過至少一次轉換，以獲得與所述每層對應的層預測結果。

3.如權利要求2所述的訓練方法，其中，通過分別將所述每層的層權重矩陣與所述每層的輸出相乘并與相應的層偏置項相加來執(zhí)行一次轉換。

4.如權利要求3所述的訓練方法，其中，

層權重矩陣是在訓練神經(jīng)網(wǎng)絡模型的過程中被學習出的。

5.如權利要求1所述的訓練方法，其中，基于由神經(jīng)網(wǎng)絡模型的輸出層所輸出的預測結果與所述標記之間的差異以及每個層預測結果與所述標記之間的層預測差異來構建模型損失函數(shù)的步驟包括：

基于由神經(jīng)網(wǎng)絡模型的輸出層所輸出的預測結果與所述標記之間的差異來構建輸出層損失函數(shù)，分別基于每個層預測結果與所述標記之間的層預測差異來構建所述每層的層損失函數(shù)，通過對輸出層損失函數(shù)和各個層損失函數(shù)進行加權求和來構建所述模型損失函數(shù)。

6.如權利要求5所述的訓練方法，其中，在訓練神經(jīng)網(wǎng)絡模型的過程中，針對不同批次的訓練樣本，各個層損失函數(shù)的函數(shù)類型被動態(tài)設置，并且/或者，針對不同批次的訓練樣本，主體神經(jīng)網(wǎng)絡結構之中的所述至少一部分層被動態(tài)設置。

7.如權利要求1所述的訓練方法，其中，

所述主體神經(jīng)網(wǎng)絡結構包括除了神經(jīng)網(wǎng)絡模型的輸出層之外的全部層，

或者，

所述主體神經(jīng)網(wǎng)絡結構包括除了神經(jīng)網(wǎng)絡模型的輸出層之外起主要預測作用的各個層。

8.一種神經(jīng)網(wǎng)絡模型的訓練系統(tǒng)，所述系統(tǒng)包括：

數(shù)據(jù)獲取裝置，用于獲取訓練數(shù)據(jù)記錄；

樣本生成裝置，用于基于訓練數(shù)據(jù)記錄的屬性信息來生成訓練樣本的特征，并將訓練數(shù)據(jù)記錄的標記作為訓練樣本的標記；以及

訓練裝置，用于利用訓練樣本的集合來訓練神經(jīng)網(wǎng)絡模型，

其中，在訓練神經(jīng)網(wǎng)絡模型的過程中，訓練裝置針對神經(jīng)網(wǎng)絡模型之中的主體神經(jīng)網(wǎng)絡結構之中的至少一部分層，分別獲得與其中每層的輸出對應的層預測結果，基于由神經(jīng)網(wǎng)絡模型的輸出層所輸出的預測結果與所述標記之間的差異以及每個層預測結果與所述標記之間的層預測差異來構建模型損失函數(shù)，并且根據(jù)所述模型損失函數(shù)來調整所述神經(jīng)網(wǎng)絡模型。

9.一種計算機可讀介質，其中，在所述計算機可讀介質上記錄有用于由一個或多個計算裝置執(zhí)行如權利要求1至7中的任一權利要求所述的方法的計算機程序。

10.一種包括一個或多個計算裝置和一個或多個存儲裝置的系統(tǒng)，所述一個或多個存儲裝置上記錄有指令，所述指令在被所述一個或多個計算裝置執(zhí)行時使得所述一個或多個計算裝置實現(xiàn)如權利要求1至7中的任一權利要求所述的方法。