[發(fā)明專利]用于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)量化的方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010033831.4
• 申請(qǐng)日: 2020-01-13
• 公開(kāi)（公告）號(hào): CN113112009B
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 請(qǐng)求不公布姓名
• 申請(qǐng)（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/0464;G06N3/08
• 代理公司: 北京維昊知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11804
• 代理人: 李波;孫新國(guó)

本披露公開(kāi)了用于神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)量化的方法、量化裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中量化裝置可以包括在組合處理裝置中，該組合處理裝置還可以包括通用互聯(lián)接口和其他處理裝置。所述量化裝置與其他處理裝置進(jìn)行交互，共同完成用戶指定的計(jì)算操作。組合處理裝置還可以包括存儲(chǔ)裝置，該存儲(chǔ)裝置分別與設(shè)備和其他處理裝置連接，用于該設(shè)備和其他處理裝置的數(shù)據(jù)。本披露的方案針對(duì)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行劃分，被劃分到同一量化集內(nèi)的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)可以進(jìn)行統(tǒng)一的量化操作，從而達(dá)到加快處理速度的目的。

技術(shù)領(lǐng)域

本披露一般地涉及人工智能領(lǐng)域。更具體地，本披露涉及一種用于用于對(duì)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行量化的方法、裝置、集成電路和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

深度學(xué)習(xí)已被人工智能領(lǐng)域廣泛的使用,在包括圖像分類、目標(biāo)檢測(cè)、自然語(yǔ)言處理等任務(wù)上被證實(shí)效果十分理想。隨著深度學(xué)習(xí)的模型預(yù)測(cè)越來(lái)越準(zhǔn)確，網(wǎng)絡(luò)越來(lái)越深，神經(jīng)網(wǎng)絡(luò)消耗的內(nèi)存大小成為問(wèn)題，尤其是在移動(dòng)設(shè)備上。

模型大小不僅是內(nèi)存容量問(wèn)題，也是內(nèi)存帶寬問(wèn)題。模型在每次預(yù)測(cè)時(shí)需要使用模型的權(quán)重，圖像相關(guān)的應(yīng)用程序通常需要實(shí)時(shí)處理大量數(shù)據(jù)，這意味著內(nèi)存、CPU和電池的快速消耗。

為了節(jié)省能耗，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)、訓(xùn)練或使用通常會(huì)采取量化的手段。所謂量化就是將神經(jīng)網(wǎng)絡(luò)中信息量較大的浮點(diǎn)數(shù)轉(zhuǎn)換為信息量較小的浮點(diǎn)數(shù)或定點(diǎn)數(shù)，而如何有效的轉(zhuǎn)換將影響神經(jīng)網(wǎng)絡(luò)的速度及精準(zhǔn)度。

發(fā)明內(nèi)容

為了至少解決在上述背景技術(shù)部分所描述的問(wèn)題，對(duì)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分別或統(tǒng)一的量化操作，從而達(dá)到減少運(yùn)算量和加快處理速度的目的，本披露提出如下的技術(shù)方案及其多個(gè)實(shí)施例。

在一個(gè)方面中，本披露提出了一種用于對(duì)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行量化的方法，包括：獲取針對(duì)于多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)中的每組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)的量化相關(guān)值，以得到與所述多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的多個(gè)量化相關(guān)值；將所述多個(gè)量化相關(guān)值中的每個(gè)分別與所述多個(gè)量化相關(guān)值中的極值求比值，以獲得多個(gè)比值；根據(jù)多個(gè)預(yù)定的閾值范圍對(duì)所述多個(gè)比值進(jìn)行劃分，以便將與所述多個(gè)比值的每個(gè)相關(guān)聯(lián)的每組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)劃分到不同的量化集；以及對(duì)于處于同一量化集內(nèi)的一組或多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)執(zhí)行統(tǒng)一的量化操作。

在另一方面中，本披露還公開(kāi)了一種用于對(duì)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行量化的設(shè)備，包括：至少一個(gè)處理器；至少一個(gè)存儲(chǔ)器，其存儲(chǔ)有計(jì)算機(jī)程序代碼，當(dāng)所述計(jì)算機(jī)程序代碼由所述至少一個(gè)處理器執(zhí)行時(shí)，使得所述設(shè)備執(zhí)行上述的方法。

在又一方面中，本披露進(jìn)一步公開(kāi)了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有用于對(duì)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行量化的計(jì)算機(jī)程序代碼，當(dāng)所述計(jì)算機(jī)程序代碼由處理器運(yùn)行時(shí)，執(zhí)行上述的方法。

在一個(gè)方面中，本披露公開(kāi)了一種集成電路裝置，包括：存儲(chǔ)單元，其配置用于存儲(chǔ)多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)；量化相關(guān)值單元，其配置用于獲取針對(duì)于多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)中的每組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)的量化相關(guān)值，以得到與所述多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的多個(gè)量化相關(guān)值；比值單元，其配置用于將所述多個(gè)量化相關(guān)值中的每個(gè)分別與所述多個(gè)量化相關(guān)值中的極值求比值，以獲得多個(gè)比值；劃分單元，其配置用于根據(jù)多個(gè)預(yù)定的閾值范圍對(duì)所述多個(gè)比值進(jìn)行劃分，以便將與所述多個(gè)比值的每個(gè)相關(guān)聯(lián)的每組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)劃分到不同的量化集；以及量化單元，其配置用于對(duì)于處于同一量化集內(nèi)的一組或多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)執(zhí)行統(tǒng)一的量化操作。

通過(guò)利用本披露的方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可以對(duì)多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行量化操作。特別地，本披露的方案還可以進(jìn)一步將多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行劃分，被歸類于同一量化集的一組或多組神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)可以執(zhí)行統(tǒng)一的量化操作，不但可以確保量化誤差減少，還可以達(dá)到減少運(yùn)算量和加快處理速度的效能。

附圖說(shuō)明

通過(guò)結(jié)合附圖，可以更好地理解本披露的上述特征，并且其眾多目的、特征和優(yōu)點(diǎn)對(duì)于本領(lǐng)域技術(shù)人員而言是顯而易見(jiàn)的。下面描述中的附圖僅僅是本披露的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可根據(jù)這些附圖獲得其他的附圖，其中：