[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)權(quán)重量化方法和神經(jīng)網(wǎng)絡(luò)權(quán)重量化裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710656027.X
• 申請(qǐng)日: 2017-08-03
• 公開(kāi)（公告）號(hào): CN109388779A
• 公開(kāi)（公告）日: 2019-02-26
• 發(fā)明（設(shè)計(jì)）人: 南楠;葉麗萍;李曉會(huì)
• 申請(qǐng)（專利權(quán)）人: 珠海全志科技股份有限公司
• 主分類號(hào): G06F17/16
• 分類號(hào): G06F17/16
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 于金平

本發(fā)明公開(kāi)了一種神經(jīng)網(wǎng)絡(luò)權(quán)重量化方法和裝置，所述方法包括：步驟1，獲取待量化矩陣集合；步驟2，將所述待量化矩陣集合中的待量化權(quán)重值量化至對(duì)數(shù)空間，得到所述待量化權(quán)重值的權(quán)重量化值，并得到量化矩陣集合；步驟3,根據(jù)所述權(quán)重量化值與所述權(quán)重量化值對(duì)應(yīng)的所述待量化權(quán)重值的差值，對(duì)所述權(quán)重量化值進(jìn)行補(bǔ)償量化，得到所述權(quán)重量化值的補(bǔ)償量化值，并得到補(bǔ)償量化矩陣集合；步驟4，將所述量化矩陣集合和所述補(bǔ)償量化矩陣集合，作為所述待量化矩陣集合的量化結(jié)果存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)中等待使用。本發(fā)明中的補(bǔ)償量化通過(guò)給較重要權(quán)重疊加偏移項(xiàng)，使其量化采樣間隔更加稠密，從而減小了量化誤差所帶來(lái)的神經(jīng)網(wǎng)絡(luò)模型的性能損失。

技術(shù)領(lǐng)域

本發(fā)明涉及人工神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)權(quán)重量化方法和神經(jīng)網(wǎng)絡(luò)權(quán)重量化裝置。

背景技術(shù)

近年來(lái)，隨著人工智能技術(shù)的迅猛發(fā)展，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在模式識(shí)別方面取得了巨大的成功，例如圖像分類、目標(biāo)檢測(cè)、圖像分割、語(yǔ)音識(shí)別以及機(jī)器翻譯等。在上述領(lǐng)域中，深度學(xué)習(xí)模型的性能遠(yuǎn)超傳統(tǒng)的淺度模型，甚至在某些方面達(dá)到了人類的水準(zhǔn)。然而，性能較好的神經(jīng)網(wǎng)絡(luò)通常具有規(guī)模較大的模型參數(shù)，使得其計(jì)算復(fù)雜度較高。計(jì)算的復(fù)雜度同時(shí)體現(xiàn)在空間存儲(chǔ)量(龐大的模型存儲(chǔ)體積和運(yùn)行時(shí)的內(nèi)存占用)和時(shí)間計(jì)算量(單次推理所需數(shù)百億次浮點(diǎn)運(yùn)算)兩方面上。因此，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮和加速變得尤為重要，特別是對(duì)運(yùn)行在諸如嵌入式設(shè)備、集成硬件設(shè)備以及大規(guī)模數(shù)據(jù)處理中心上的應(yīng)用來(lái)說(shuō)。

通過(guò)權(quán)重量化的方式，或?qū)?quán)重轉(zhuǎn)化為定點(diǎn)數(shù)，或建立量化權(quán)重碼本，實(shí)現(xiàn)權(quán)重共享，可以有效壓縮模型，降低神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)量。因而，如何設(shè)計(jì)有效的量化方法，進(jìn)而針對(duì)該量化方法設(shè)計(jì)高效的硬件結(jié)構(gòu)，是神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明提供一種神經(jīng)網(wǎng)絡(luò)權(quán)重量化方法和神經(jīng)網(wǎng)絡(luò)權(quán)重量化裝置，用以解決現(xiàn)有技術(shù)中神經(jīng)網(wǎng)絡(luò)權(quán)重量化時(shí)計(jì)算復(fù)雜，效率低的問(wèn)題。

依據(jù)本發(fā)明的一個(gè)方面，提供一種神經(jīng)網(wǎng)絡(luò)權(quán)重量化方法，包括：

步驟1，獲取待量化矩陣集合；

步驟2，將所述待量化矩陣集合中的待量化權(quán)重值量化至對(duì)數(shù)空間，得到所述待量化權(quán)重值的權(quán)重量化值，并根據(jù)所述權(quán)重量化值得到量化矩陣集合；

步驟3,根據(jù)所述權(quán)重量化值與所述權(quán)重量化值對(duì)應(yīng)的所述待量化權(quán)重值的差值，對(duì)所述權(quán)重量化值進(jìn)行補(bǔ)償量化，得到所述權(quán)重量化值的補(bǔ)償量化值，并根據(jù)所述補(bǔ)償量化值得到補(bǔ)償量化矩陣集合；

步驟4，將所述量化矩陣集合和所述補(bǔ)償量化矩陣集合，作為所述待量化矩陣集合的量化結(jié)果存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)中等待使用。

本發(fā)明還提供一種神經(jīng)網(wǎng)絡(luò)權(quán)重量化裝置，包括：

獲取模塊，用于獲取待量化矩陣集合；

權(quán)重量化模塊，用于將所述待量化矩陣集合中的待量化權(quán)重值量化至對(duì)數(shù)空間，得到所述待量化權(quán)重值的權(quán)重量化值，并根據(jù)所述權(quán)重量化值得到量化矩陣集合；

補(bǔ)償量化模塊，用于根據(jù)所述權(quán)重量化值與所述權(quán)重量化值對(duì)應(yīng)的所述待量化權(quán)重值的差值，對(duì)所述權(quán)重量化值進(jìn)行補(bǔ)償量化，得到所述權(quán)重量化值的補(bǔ)償量化值，并根據(jù)所述補(bǔ)償量化值得到補(bǔ)償量化矩陣集合；

量化結(jié)果存儲(chǔ)模塊，用于將所述量化矩陣集合和所述補(bǔ)償量化矩陣集合，作為所述待量化矩陣集合的量化結(jié)果存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)中等待使用。

本發(fā)明所提供的神經(jīng)網(wǎng)絡(luò)權(quán)重量化方法，先將待量化矩陣集合量化至對(duì)數(shù)空間，得到量化矩陣集合后，再將初步量化矩陣的量化差值進(jìn)行補(bǔ)償量化，得到量化補(bǔ)償矩陣，所述量化矩陣和所述量化補(bǔ)償矩陣即為所述待量化矩陣的量化結(jié)果。通過(guò)對(duì)初步量化矩陣進(jìn)行補(bǔ)償量化，對(duì)量化所產(chǎn)生的量化差值做進(jìn)一步的補(bǔ)償量化，所述補(bǔ)償量化通過(guò)給較重要權(quán)重疊加偏移項(xiàng)，使其量化采樣間隔更加稠密，從而減小了量化誤差所帶來(lái)的神經(jīng)網(wǎng)絡(luò)模型的性能損失。