[發(fā)明專利]用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的設(shè)備、方法和集成電路板卡

在審

• 申請(qǐng)?zhí)枺?/td>: 201911357761.1
• 申請(qǐng)日: 2019-12-25
• 公開(kāi)（公告）號(hào): CN111144559A
• 公開(kāi)（公告）日: 2020-05-12
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 上海寒武紀(jì)信息科技有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/08
• 代理公司: 北京維昊知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11804
• 代理人: 李波;孫新國(guó)

1.一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的設(shè)備，包括：

至少一個(gè)處理器，其配置用于執(zhí)行所述神經(jīng)網(wǎng)絡(luò)的迭代訓(xùn)練中的運(yùn)算操作；

輸入輸出接口，用于與所述設(shè)備外部的片外系統(tǒng)進(jìn)行雙向數(shù)據(jù)傳輸，

其中在迭代訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)的權(quán)值更新操作中，所述至少一個(gè)處理器還配置用于：

使用高精度數(shù)據(jù)格式表示的權(quán)值數(shù)據(jù)對(duì)權(quán)值進(jìn)行更新，以獲得更新后的高精度數(shù)據(jù)格式表示的權(quán)值；以及

將所述更新后的高精度數(shù)據(jù)格式表示的權(quán)值轉(zhuǎn)換成定點(diǎn)型權(quán)值，以用于所述神經(jīng)網(wǎng)絡(luò)的下一次迭代訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述高精度數(shù)據(jù)格式表示的權(quán)值數(shù)據(jù)包括高精度數(shù)據(jù)格式表示的權(quán)值梯度和高精度數(shù)據(jù)格式表示的權(quán)值，并且其中在獲得更新后的高精度數(shù)據(jù)格式表示的權(quán)值中，所述至少一個(gè)處理器配置用于：

基于所述高精度數(shù)據(jù)格式表示的權(quán)值梯度和所述高精度數(shù)據(jù)格式表示的權(quán)值來(lái)執(zhí)行所述權(quán)值更新操作，以獲得所述更新后的高精度數(shù)據(jù)格式表示的權(quán)值；以及

通過(guò)所述輸入輸出接口將更新后的高精度數(shù)據(jù)格式表示的權(quán)值存儲(chǔ)到所述片外系統(tǒng)中，以用作所述下一次權(quán)值更新操作中的所述高精度數(shù)據(jù)格式表示的權(quán)值數(shù)據(jù)中的高精度數(shù)據(jù)格式表示的權(quán)值。

3.根據(jù)權(quán)利要求2所述的設(shè)備，其中在所述神經(jīng)網(wǎng)絡(luò)的每次迭代過(guò)程中，所述至少一個(gè)處理器配置用于通過(guò)所述輸入輸出接口從所述片外系統(tǒng)加載以下各項(xiàng)：

用于當(dāng)前次迭代訓(xùn)練中的前向傳播過(guò)程的前向定點(diǎn)型權(quán)值；

用于所述當(dāng)前次迭代訓(xùn)練中的反向傳播過(guò)程的反向定點(diǎn)型權(quán)值；以及

用于所述當(dāng)前次迭代訓(xùn)練中的權(quán)值更新操作的高精度數(shù)據(jù)格式表示的權(quán)值。

4.根據(jù)權(quán)利要求3所述的設(shè)備，其中在將所述更新后的高精度數(shù)據(jù)格式表示的權(quán)值轉(zhuǎn)換成所述定點(diǎn)型權(quán)值中，所述至少一個(gè)處理器配置用于：

將所述更新后的高精度數(shù)據(jù)格式表示的權(quán)值轉(zhuǎn)換成所述前向定點(diǎn)型權(quán)值和反向定點(diǎn)型權(quán)值；以及

通過(guò)所述輸入輸出接口將所述前向定點(diǎn)型權(quán)值和反向定點(diǎn)型權(quán)值存儲(chǔ)到所述片外系統(tǒng)中，以分別用于下一次迭代訓(xùn)練中的前向傳播過(guò)程和反向傳播過(guò)程。

5.根據(jù)權(quán)利要求4所述的設(shè)備，其中在所述神經(jīng)網(wǎng)絡(luò)的迭代訓(xùn)練中，所述至少一個(gè)處理器配置用于通過(guò)所述輸入輸出接口執(zhí)行以下操作：

從所述片外系統(tǒng)加載高精度數(shù)據(jù)格式表示的權(quán)值以用于權(quán)值更新操作；以及

從所述片外系統(tǒng)加載所述前向定點(diǎn)型權(quán)值和反向定點(diǎn)型權(quán)值，以分別用于所述前向傳播過(guò)程和反向傳播過(guò)程。

6.根據(jù)權(quán)利要求1所述的設(shè)備，其中在所述神經(jīng)網(wǎng)絡(luò)的每次迭代過(guò)程中，所述至少一個(gè)處理器配置用于：

通過(guò)所述輸入輸出接口從所述片外系統(tǒng)加載用于當(dāng)前次迭代訓(xùn)練中的權(quán)值更新操作的高精度數(shù)據(jù)格式表示的權(quán)值；以及

將所述高精度數(shù)據(jù)格式表示的權(quán)值轉(zhuǎn)換成前向定點(diǎn)型權(quán)值和反向定點(diǎn)型權(quán)值，以分別用于當(dāng)前次迭代訓(xùn)練中的前向傳播過(guò)程和反向傳播過(guò)程。

7.根據(jù)權(quán)利要求6所述的設(shè)備，其中在將所述更新后的高精度數(shù)據(jù)格式表示的權(quán)值轉(zhuǎn)換成所述定點(diǎn)型權(quán)值中，所述至少一個(gè)處理器配置用于：

將所述更新后的高精度數(shù)據(jù)格式表示的權(quán)值轉(zhuǎn)換成所述前向定點(diǎn)型權(quán)值和反向定點(diǎn)型權(quán)值，以分別用于下一次迭代訓(xùn)練中的前向傳播過(guò)程和反向傳播過(guò)程。

8.根據(jù)權(quán)利要求7所述的設(shè)備，其中在將所述更新后的高精度數(shù)據(jù)格式表示的權(quán)值轉(zhuǎn)換成所述前向定點(diǎn)型權(quán)值和反向定點(diǎn)型權(quán)值后，所述至少一個(gè)處理器還配置用于：

將所述前向定點(diǎn)型權(quán)值和反向定點(diǎn)型權(quán)值直接分別用于下一次迭代訓(xùn)練中的前向傳播過(guò)程和反向傳播過(guò)程，而不存儲(chǔ)到所述片外系統(tǒng)中；或者

將所述前向定點(diǎn)型權(quán)值和反向定點(diǎn)型權(quán)值通過(guò)所述輸入輸出接口存儲(chǔ)到所述片外系統(tǒng)中，以便在下一次迭代操作中，從所述片外系統(tǒng)加載到所述片上系統(tǒng)，從而分別用于下一次迭代訓(xùn)練中的前向傳播過(guò)程和反向傳播過(guò)程。