[發(fā)明專利]用于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)量化的方法、裝置和計(jì)算機(jī)可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010033831.4
• 申請日: 2020-01-13
• 公開（公告）號: CN113112009B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 請求不公布姓名
• 申請（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464;G06N3/08
• 代理公司: 北京維昊知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11804
• 代理人: 李波;孫新國

1.一種集成電路裝置，包括：

存儲單元，其配置用于存儲多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)；

量化相關(guān)值單元，其配置用于獲取針對于多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)中的每組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)的量化相關(guān)值，以得到與所述多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)對應(yīng)的多個(gè)量化相關(guān)值；其中所述每組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)的量化相關(guān)值是每組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)的最大值或絕對值最大值；

比值單元，其配置用于將所述多個(gè)量化相關(guān)值中的每個(gè)分別與所述多個(gè)量化相關(guān)值中的極值求比值，以獲得多個(gè)比值；

劃分單元，其配置用于根據(jù)多個(gè)預(yù)定的閾值范圍對所述多個(gè)比值進(jìn)行劃分，以便將與所述多個(gè)比值的每個(gè)相關(guān)聯(lián)的每組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)劃分到不同的量化集；以及

量化單元，其配置用于對于處于同一量化集內(nèi)的一組或多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)執(zhí)行統(tǒng)一的量化操作。

2.根據(jù)權(quán)利要求1所述的集成電路裝置，其中所述多個(gè)量化相關(guān)值中的極值是多個(gè)量化相關(guān)值中的最大值或最小值。

3.根據(jù)權(quán)利要求1所述的集成電路裝置，其中所述劃分單元還配置用于：

在獲取所述量化相關(guān)值前，根據(jù)所述神經(jīng)網(wǎng)絡(luò)的目標(biāo)層的輸出通道來將所述神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)劃分成所述多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的集成電路裝置，其中所述目標(biāo)層是所述神經(jīng)網(wǎng)絡(luò)的卷積層或全連接層。

5.根據(jù)權(quán)利要求1所述的集成電路裝置，其中所述神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)包括所述神經(jīng)網(wǎng)絡(luò)的神經(jīng)元、權(quán)值、偏置和梯度中的至少一種數(shù)據(jù)。

6.根據(jù)權(quán)利要求1-5的任意一項(xiàng)所述的集成電路裝置，其中所述量化單元配置用于將高精度數(shù)據(jù)格式表示的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)量化成低精度數(shù)據(jù)格式表示的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的集成電路裝置，其中所述量化單元配置用于：

根據(jù)所述一組或多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)中的絕對值最大值和低精度數(shù)據(jù)格式數(shù)據(jù)的位寬來確定量化參數(shù)；以及

使用所述量化參數(shù)來對所述一組或多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)執(zhí)行所述統(tǒng)一的量化操作。

8.一種板卡，包括根據(jù)權(quán)利要求1-7的任意一項(xiàng)所述的集成電路裝置。