[發(fā)明專利]一種靜態(tài)策略定點(diǎn)化訓(xùn)練方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710629211.5
• 申請(qǐng)日: 2017-07-28
• 公開（公告）號(hào): CN107679618B
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 李鑫;孟通
• 申請(qǐng)（專利權(quán)）人: 賽靈思電子科技（北京）有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G10L15/16
• 代理公司: 北京卓孚律師事務(wù)所 11821
• 代理人: 任宇

1.一種浮點(diǎn)神經(jīng)網(wǎng)絡(luò)的定點(diǎn)訓(xùn)練方法，包括：

定點(diǎn)參數(shù)確定步驟，用于確定用于所述浮點(diǎn)神經(jīng)網(wǎng)絡(luò)的前向計(jì)算過程的定點(diǎn)參數(shù)；

神經(jīng)網(wǎng)絡(luò)定點(diǎn)步驟，用于對(duì)浮點(diǎn)神經(jīng)網(wǎng)絡(luò)進(jìn)行定點(diǎn)，以獲得相應(yīng)的定點(diǎn)神經(jīng)網(wǎng)絡(luò)；

定點(diǎn)前向計(jì)算步驟，用于使訓(xùn)練數(shù)據(jù)集通過所述定點(diǎn)神經(jīng)網(wǎng)絡(luò)，并根據(jù)所述定點(diǎn)參數(shù)進(jìn)行定點(diǎn)前向計(jì)算；以及

神經(jīng)網(wǎng)絡(luò)更新步驟，用于根據(jù)所述定點(diǎn)前向計(jì)算的計(jì)算結(jié)果來更新浮點(diǎn)神經(jīng)網(wǎng)絡(luò)的權(quán)重，

其中，所述定點(diǎn)參數(shù)確定步驟還包括：

使驗(yàn)證集通過所述浮點(diǎn)神經(jīng)網(wǎng)絡(luò)以進(jìn)行浮點(diǎn)前向計(jì)算，

確定所述浮點(diǎn)前向計(jì)算過程的中間數(shù)據(jù)的數(shù)值范圍，以及

根據(jù)該數(shù)值范圍確定所述定點(diǎn)參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，還包括：迭代執(zhí)行所述定點(diǎn)參數(shù)確定步驟、神經(jīng)網(wǎng)絡(luò)定點(diǎn)步驟、定點(diǎn)前向計(jì)算步驟和神經(jīng)網(wǎng)絡(luò)更新步驟，直到浮點(diǎn)神經(jīng)網(wǎng)絡(luò)達(dá)到期望精度。

3.根據(jù)權(quán)利要求1所述的方法，所述定點(diǎn)參數(shù)包括：用于表示浮點(diǎn)數(shù)的定點(diǎn)數(shù)的總比特?cái)?shù)和小數(shù)位長(zhǎng)。

4.根據(jù)權(quán)利要求1所述的方法，所述神經(jīng)網(wǎng)絡(luò)定點(diǎn)步驟還包括：利用浮點(diǎn)數(shù)轉(zhuǎn)定點(diǎn)數(shù)法則來定點(diǎn)所述浮點(diǎn)神經(jīng)網(wǎng)絡(luò)的以浮點(diǎn)數(shù)表示的權(quán)重參數(shù)。

5.根據(jù)權(quán)利要求1所述的方法，所述定點(diǎn)前向計(jì)算步驟還包括：在所述定點(diǎn)前向計(jì)算過程中，根據(jù)所述定點(diǎn)參數(shù)確定訓(xùn)練數(shù)據(jù)集的總比特?cái)?shù)和小數(shù)位長(zhǎng)以及中間計(jì)算結(jié)果的總比特?cái)?shù)和小數(shù)位長(zhǎng)。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)更新步驟還包括：

比較所述定點(diǎn)前向計(jì)算的計(jì)算結(jié)果與標(biāo)準(zhǔn)值以獲得損失值；以及

根據(jù)所述損失值計(jì)算浮點(diǎn)梯度，并根據(jù)所述浮點(diǎn)梯度更新浮點(diǎn)神經(jīng)網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述浮點(diǎn)神經(jīng)網(wǎng)絡(luò)是LSTM神經(jīng)網(wǎng)絡(luò)，所述訓(xùn)練數(shù)據(jù)集是語(yǔ)音數(shù)據(jù)集。

8.一種浮點(diǎn)神經(jīng)網(wǎng)絡(luò)的定點(diǎn)訓(xùn)練方法，包括：

初始訓(xùn)練步驟，用于對(duì)浮點(diǎn)神經(jīng)網(wǎng)絡(luò)進(jìn)行初始訓(xùn)練，以獲得具有期望精度的中間神經(jīng)網(wǎng)絡(luò)；

定點(diǎn)參數(shù)確定步驟，用于使驗(yàn)證集通過所述中間神經(jīng)網(wǎng)絡(luò)并進(jìn)行浮點(diǎn)前向計(jì)算，從而確定用于所述中間神經(jīng)網(wǎng)絡(luò)的前向計(jì)算過程的定點(diǎn)參數(shù)；

神經(jīng)網(wǎng)絡(luò)定點(diǎn)步驟，用于對(duì)所述中間神經(jīng)網(wǎng)絡(luò)進(jìn)行定點(diǎn)，以獲得相應(yīng)的定點(diǎn)神經(jīng)網(wǎng)絡(luò)；

定點(diǎn)前向計(jì)算步驟，用于使訓(xùn)練數(shù)據(jù)集通過所述定點(diǎn)神經(jīng)網(wǎng)絡(luò)并根據(jù)所述定點(diǎn)參數(shù)進(jìn)行定點(diǎn)前向計(jì)算；以及

中間神經(jīng)網(wǎng)絡(luò)更新步驟，根據(jù)所述定點(diǎn)前向計(jì)算的計(jì)算結(jié)果更新所述中間神經(jīng)網(wǎng)絡(luò)，其中，所述定點(diǎn)參數(shù)確定步驟還包括：

使驗(yàn)證集通過所述中間神經(jīng)網(wǎng)絡(luò)以進(jìn)行浮點(diǎn)前向計(jì)算，

確定所述浮點(diǎn)前向計(jì)算過程的中間數(shù)據(jù)的數(shù)值范圍，以及

根據(jù)該數(shù)值范圍確定所述定點(diǎn)參數(shù)。

9.根據(jù)權(quán)利要求8所述的方法，還包括：迭代執(zhí)行所述定點(diǎn)參數(shù)確定步驟、神經(jīng)網(wǎng)絡(luò)定點(diǎn)步驟、定點(diǎn)前向計(jì)算步驟和中間神經(jīng)網(wǎng)絡(luò)更新步驟，直到所述中間神經(jīng)網(wǎng)絡(luò)恢復(fù)所述期望精度。

10.根據(jù)權(quán)利要求8所述的方法，所述定點(diǎn)參數(shù)包括：用于表示浮點(diǎn)數(shù)的定點(diǎn)數(shù)的總比特?cái)?shù)和小數(shù)位長(zhǎng)。

11.根據(jù)權(quán)利要求8所述的方法，所述神經(jīng)網(wǎng)絡(luò)定點(diǎn)步驟還包括：利用浮點(diǎn)數(shù)轉(zhuǎn)定點(diǎn)數(shù)法則來定點(diǎn)所述中間神經(jīng)網(wǎng)絡(luò)的以浮點(diǎn)數(shù)表示的權(quán)重參數(shù)。

12.根據(jù)權(quán)利要求8所述的方法，所述定點(diǎn)前向計(jì)算步驟還包括：在所述定點(diǎn)前向計(jì)算過程中，根據(jù)所述定點(diǎn)參數(shù)確定訓(xùn)練數(shù)據(jù)集的總比特?cái)?shù)和小數(shù)位長(zhǎng)以及中間計(jì)算結(jié)果的總比特?cái)?shù)和小數(shù)位長(zhǎng)。