[發(fā)明專利]適配訓(xùn)練設(shè)備資源的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910562751.5
• 申請(qǐng)日: 2019-06-26
• 公開（公告）號(hào): CN112149817A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 羅玄;陳茂森;黃君實(shí)
• 申請(qǐng)（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

1.一種適配訓(xùn)練設(shè)備資源的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其包括：

獲取神經(jīng)網(wǎng)絡(luò)模型的批處理參數(shù)；

根據(jù)所述批處理參數(shù)和訓(xùn)練設(shè)備資源，確定是否對(duì)批處理參數(shù)進(jìn)行修改；若是，則根據(jù)修改后的批處理參數(shù)計(jì)算所述神經(jīng)網(wǎng)絡(luò)模型的前向傳播次數(shù)；

根據(jù)修改后的批處理參數(shù)將訓(xùn)練樣本批量輸入至神經(jīng)網(wǎng)絡(luò)模型，并根據(jù)所述前向傳播次數(shù)進(jìn)行多次前向傳播；

對(duì)多次前向傳播得到的梯度偏差進(jìn)行累加，利用累加的梯度偏差進(jìn)行后向反饋以調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述獲取神經(jīng)網(wǎng)絡(luò)模型的批處理參數(shù)進(jìn)一步包括：根據(jù)訓(xùn)練樣本質(zhì)量確定神經(jīng)網(wǎng)絡(luò)模型的批處理參數(shù)。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述批處理參數(shù)和訓(xùn)練設(shè)備資源，確定是否對(duì)批處理參數(shù)進(jìn)行修改進(jìn)一步包括：

根據(jù)所述批處理參數(shù)，計(jì)算神經(jīng)網(wǎng)絡(luò)模型單次批量處理訓(xùn)練樣本的預(yù)占用資源；

判斷所述預(yù)占用資源是否超出所述訓(xùn)練設(shè)備資源，若是，則確定對(duì)批處理參數(shù)進(jìn)行修改；其中，根據(jù)修改后的批處理參數(shù)計(jì)算神經(jīng)網(wǎng)絡(luò)模型單次批量處理訓(xùn)練樣本的占用資源不超出所述訓(xùn)練設(shè)備資源。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述訓(xùn)練設(shè)備資源為訓(xùn)練設(shè)備的GPU內(nèi)存。

5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其中，所述對(duì)多次前向傳播得到的梯度偏差進(jìn)行累加，利用累加的梯度偏差進(jìn)行后向反饋以調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)一步包括：

對(duì)多次前向傳播得到的梯度偏差進(jìn)行累加，并計(jì)算平均值；

利用所述平均值進(jìn)行后向反饋以調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型。

6.一種適配訓(xùn)練設(shè)備資源的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練裝置，其包括：

獲取模塊，適于獲取神經(jīng)網(wǎng)絡(luò)模型的批處理參數(shù)；

修改模塊，適于根據(jù)所述批處理參數(shù)和訓(xùn)練設(shè)備資源，確定是否對(duì)批處理參數(shù)進(jìn)行修改；若是，則根據(jù)修改后的批處理參數(shù)計(jì)算所述神經(jīng)網(wǎng)絡(luò)模型的前向傳播次數(shù)；

前向傳播模塊，適于根據(jù)修改后的批處理參數(shù)將訓(xùn)練樣本批量輸入至神經(jīng)網(wǎng)絡(luò)模型，并根據(jù)所述前向傳播次數(shù)進(jìn)行多次前向傳播；

后向反饋模塊，適于對(duì)多次前向傳播得到的梯度偏差進(jìn)行累加，利用累加的梯度偏差進(jìn)行后向反饋以調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型。

7.根據(jù)權(quán)利要求6所述的裝置，其中，所述獲取模塊進(jìn)一步適于：

根據(jù)訓(xùn)練樣本質(zhì)量確定神經(jīng)網(wǎng)絡(luò)模型的批處理參數(shù)。

8.根據(jù)權(quán)利要求6所述的裝置，其中，所述修改模塊進(jìn)一步適于：

根據(jù)所述批處理參數(shù)，計(jì)算神經(jīng)網(wǎng)絡(luò)模型單次批量處理訓(xùn)練樣本的預(yù)占用資源；

判斷所述預(yù)占用資源是否超出所述訓(xùn)練設(shè)備資源，若是，則確定對(duì)批處理參數(shù)進(jìn)行修改；其中，根據(jù)修改后的批處理參數(shù)計(jì)算神經(jīng)網(wǎng)絡(luò)模型單次批量處理訓(xùn)練樣本的占用資源不超出所述訓(xùn)練設(shè)備資源。

9.一種計(jì)算設(shè)備，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如權(quán)利要求1-5中任一項(xiàng)所述的適配訓(xùn)練設(shè)備資源的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法對(duì)應(yīng)的操作。

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一可執(zhí)行指令，所述可執(zhí)行指令使處理器執(zhí)行如權(quán)利要求1-5中任一項(xiàng)所述的適配訓(xùn)練設(shè)備資源的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法對(duì)應(yīng)的操作。