[發(fā)明專利]模型生成方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201811536493.5
• 申請(qǐng)日: 2018-12-14
• 公開(kāi)（公告）號(hào): CN109670579A
• 公開(kāi)（公告）日: 2019-04-23
• 發(fā)明（設(shè)計(jì)）人: 胡耀全
• 申請(qǐng)（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本公開(kāi)實(shí)施例公開(kāi)了模型生成方法和裝置。該方法的具體實(shí)施方式包括：向至少兩個(gè)處理器中的處理器，發(fā)送訓(xùn)練樣本集中的訓(xùn)練樣本子集，其中，處理器用于：基于待訓(xùn)練模型和接收到的訓(xùn)練樣本子集，前向傳播確定待訓(xùn)練模型的實(shí)際輸出；對(duì)于該至少兩個(gè)處理器中的處理器，獲取該處理器確定的待訓(xùn)練模型的實(shí)際輸出；基于所獲取的實(shí)際輸出，進(jìn)行反向傳播，確定待訓(xùn)練模型中預(yù)先指定的第一網(wǎng)絡(luò)參數(shù)對(duì)應(yīng)的第一梯度；根據(jù)該第一梯度，更新該第一網(wǎng)絡(luò)參數(shù)。該實(shí)施方式提供了新的模型生成方式。

技術(shù)領(lǐng)域

本公開(kāi)實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及模型生成方法和裝置。

背景技術(shù)

隨著人工智能的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的模型在越來(lái)越多的場(chǎng)景中發(fā)揮作用。神經(jīng)網(wǎng)絡(luò)可以指人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)。神經(jīng)網(wǎng)絡(luò)通常是一種運(yùn)算模型，由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互連接構(gòu)成。每個(gè)節(jié)點(diǎn)可以代表一種特定的輸出函數(shù)，稱為激勵(lì)函數(shù)(activation function)。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。

發(fā)明內(nèi)容

本公開(kāi)實(shí)施例提出了模型生成方法和裝置。

第一方面，本公開(kāi)實(shí)施例提供了一種模型生成方法，該方法包括：向至少兩個(gè)處理器中的處理器，發(fā)送訓(xùn)練樣本集中的訓(xùn)練樣本子集，其中，處理器用于：基于待訓(xùn)練模型和接收到的訓(xùn)練樣本子集，前向傳播確定待訓(xùn)練模型的實(shí)際輸出；對(duì)于該至少兩個(gè)處理器中的處理器，獲取該處理器確定的待訓(xùn)練模型的實(shí)際輸出；基于所獲取的實(shí)際輸出，進(jìn)行反向傳播，確定待訓(xùn)練模型中預(yù)先指定的第一網(wǎng)絡(luò)參數(shù)對(duì)應(yīng)的第一梯度；根據(jù)該第一梯度，更新該第一網(wǎng)絡(luò)參數(shù)。

在一些實(shí)施例中，該第一網(wǎng)絡(luò)參數(shù)包括批量歸一化層中的網(wǎng)絡(luò)參數(shù)。

在一些實(shí)施例中，該至少兩個(gè)處理器中的處理器還用于：基于該處理器確定的實(shí)際輸出，進(jìn)行誤差反向傳播，確定待訓(xùn)練模型中預(yù)先指定的第二網(wǎng)絡(luò)參數(shù)對(duì)應(yīng)的第二梯度。

在一些實(shí)施例中，該方法還包括：對(duì)于該至少兩個(gè)處理器中的處理器，獲取該處理器確定的第二梯度；根據(jù)所獲取的第二梯度，更新該第二網(wǎng)絡(luò)參數(shù)。

在一些實(shí)施例中，處理器還用于：采用第一精度類型的數(shù)據(jù)進(jìn)行前向傳播計(jì)算；采用第二精度類型的數(shù)據(jù)進(jìn)行反向傳播計(jì)算，其中，上述第一精度類型和上述第二精度類型不同。

在一些實(shí)施例中，該第一精度類型或者第二精度類型為半精度類型。

在一些實(shí)施例中，該根據(jù)該第一梯度，更新該第一網(wǎng)絡(luò)參數(shù)，包括：采用第二精度類型的數(shù)據(jù)進(jìn)行反向傳播，確定待訓(xùn)練模型中預(yù)先指定的第一網(wǎng)絡(luò)參數(shù)對(duì)應(yīng)的第一梯度。

第二方面，本公開(kāi)實(shí)施例提供了一種模型生成裝置，該裝置包括：發(fā)送單元，被配置成向至少兩個(gè)處理器中的處理器，發(fā)送訓(xùn)練樣本集中的訓(xùn)練樣本子集，其中，處理器用于：基于待訓(xùn)練模型和接收到的訓(xùn)練樣本子集，前向傳播確定待訓(xùn)練模型的實(shí)際輸出；第一獲取單元，被配置成對(duì)于該至少兩個(gè)處理器中的處理器，獲取該處理器確定的待訓(xùn)練模型的實(shí)際輸出；確定單元，被配置成基于所獲取的實(shí)際輸出，進(jìn)行反向傳播，確定待訓(xùn)練模型中預(yù)先指定的第一網(wǎng)絡(luò)參數(shù)對(duì)應(yīng)的第一梯度；第一更新單元，被配置成根據(jù)該第一梯度，更新該第一網(wǎng)絡(luò)參數(shù)。

在一些實(shí)施例中，該第一網(wǎng)絡(luò)參數(shù)包括批量歸一化層中的網(wǎng)絡(luò)參數(shù)。

在一些實(shí)施例中，該至少兩個(gè)處理器中的處理器還用于：基于該處理器確定的實(shí)際輸出，進(jìn)行誤差反向傳播，確定待訓(xùn)練模型中預(yù)先指定的第二網(wǎng)絡(luò)參數(shù)對(duì)應(yīng)的第二梯度。

在一些實(shí)施例中，該裝置還包括：第二獲取單元，被配置成對(duì)于該至少兩個(gè)處理器中的處理器，獲取該處理器確定的第二梯度；第二更新單元，被配置成根據(jù)所獲取的第二梯度，更新該第二網(wǎng)絡(luò)參數(shù)。