[發(fā)明專利]基于循環(huán)重組和分塊的卷積神經(jīng)網(wǎng)絡(luò)反向傳播映射方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110229586.9
• 申請(qǐng)日: 2021-03-02
• 公開（公告）號(hào): CN112836823A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 單偉偉
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N5/04;G06N3/04
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 沈廉

本發(fā)明公開了基于循環(huán)重組和分塊的卷積神經(jīng)網(wǎng)絡(luò)反向傳播映射方法，適用于片上神經(jīng)網(wǎng)絡(luò)訓(xùn)練加速器電路，屬于神經(jīng)網(wǎng)絡(luò)加速器領(lǐng)域。該方法通過數(shù)據(jù)調(diào)度方式將神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的反向傳播算法映射到現(xiàn)有的用于前向推理的神經(jīng)網(wǎng)絡(luò)加速器引擎上，即將卷積神經(jīng)網(wǎng)絡(luò)的反向傳播中的大卷積操作進(jìn)行重映射，使得卷積的規(guī)模和維度能夠適配到用于前向推理的神經(jīng)網(wǎng)絡(luò)加速器中。該方法可以在幾乎不需要改變硬件架構(gòu)的情況下，通過將反向傳播算法特有的大卷積運(yùn)算進(jìn)行重組和分塊，將其映射到現(xiàn)有的用于前向推理的神經(jīng)網(wǎng)絡(luò)加速器引擎上，從而可以使這類原本只能進(jìn)行前向推理的加速器很容易就能適配反向傳播算法，進(jìn)而在片上進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)加速器領(lǐng)域，尤其是用于片上再訓(xùn)練方面，用于將反向傳播算法適配到只能進(jìn)行前向推理的神經(jīng)網(wǎng)絡(luò)加速器上，從而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)在片上進(jìn)行訓(xùn)練而無(wú)需在服務(wù)器端進(jìn)行訓(xùn)練后部署。

背景技術(shù)

片上訓(xùn)練，是指部署在神經(jīng)網(wǎng)絡(luò)加速器芯片上的神經(jīng)網(wǎng)絡(luò)通過特定的方法進(jìn)行再訓(xùn)練的過程。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)加速器芯片通常需要通過服務(wù)器端對(duì)模型進(jìn)行大數(shù)據(jù)訓(xùn)練，之后通過接口部署到芯片內(nèi)部進(jìn)行前向推理。因此一般用于邊緣設(shè)備的神經(jīng)網(wǎng)絡(luò)加速器芯片都只能進(jìn)行推理任務(wù)而無(wú)法進(jìn)行訓(xùn)練任務(wù)。

近幾年來(lái)，用戶隱私泄露的問題愈發(fā)嚴(yán)重。神經(jīng)網(wǎng)絡(luò)作為一種數(shù)據(jù)驅(qū)動(dòng)型的模型，其需要大量用戶數(shù)據(jù)進(jìn)行訓(xùn)練。一些邊緣設(shè)備(手機(jī)、IOT設(shè)備)很容易獲取用戶的數(shù)據(jù)，但是受限于這類設(shè)備中的神經(jīng)網(wǎng)絡(luò)加速器的功能限制，通常設(shè)備需要將收集到的數(shù)據(jù)上傳到云端服務(wù)器，服務(wù)器整合收集到的數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，之后再將訓(xùn)練好的模型參數(shù)分發(fā)到設(shè)備中。這樣一條數(shù)據(jù)鏈路在無(wú)形中增加了這些用戶私密數(shù)據(jù)被泄露的風(fēng)險(xiǎn)，因此需要一種可以在設(shè)備內(nèi)部離線地使用用戶數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法。

支持片上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)芯片目前寥寥可數(shù)，其中最大的難點(diǎn)在于訓(xùn)練任務(wù)相比前向推理需要更大的計(jì)算量和存儲(chǔ)量，這兩種資源在邊緣設(shè)備中都十分稀缺。此外，不同神經(jīng)網(wǎng)絡(luò)加速器芯片的內(nèi)部數(shù)據(jù)流各不相同，在進(jìn)行反向推理任務(wù)時(shí)相應(yīng)的軟件需要針對(duì)各種不同的加速器架構(gòu)進(jìn)行任務(wù)的映射，增加了配套軟件的設(shè)計(jì)難度。

發(fā)明內(nèi)容

技術(shù)問題：本發(fā)明提供一種基于循環(huán)重組和分塊技術(shù)的卷積反向傳播映射方法，適用于卷積神經(jīng)網(wǎng)絡(luò)的片上訓(xùn)練，通過將反向傳播的過程重映射為前向推理過程相似的計(jì)算方式，進(jìn)而將反向傳播適配到各類神經(jīng)網(wǎng)絡(luò)前向推理加速器中，擴(kuò)充這類加速器的使用范圍，并且保護(hù)用于神經(jīng)網(wǎng)絡(luò)算法再訓(xùn)練時(shí)用戶的隱私數(shù)據(jù)。

技術(shù)方案：本發(fā)明的一種基于循環(huán)重組和分塊的卷積神經(jīng)網(wǎng)絡(luò)反向傳播映射方法通過數(shù)據(jù)調(diào)度方式將反向傳播算法映射到現(xiàn)有的用于前向推理的神經(jīng)網(wǎng)絡(luò)加速器引擎上，采用一種反向傳播大卷積重映射方法，可以使得反向傳播中大卷積的規(guī)模和維度能夠適配到用于前向推理的神經(jīng)網(wǎng)絡(luò)加速器中。

所述卷積神經(jīng)網(wǎng)絡(luò)的反向傳播，包含以下步驟：

步驟一：誤差傳播，用于將誤差從后往前進(jìn)行推導(dǎo)：涉及的數(shù)據(jù)為當(dāng)前層的誤差張量，權(quán)重張量，前一層的誤差張量；涉及主要運(yùn)算為卷積，也就是當(dāng)前層的誤差張量與權(quán)重張量進(jìn)行卷積得到前一層的誤差張量。

步驟二：求權(quán)重梯度，用于更新神經(jīng)網(wǎng)絡(luò)的卷積權(quán)重：涉及的數(shù)據(jù)為前一層的激活值張量，當(dāng)前層的誤差張量和權(quán)重的梯度張量；涉及的運(yùn)算為大卷積，也就是前一層的激活值張量與當(dāng)前層的誤差張量進(jìn)行卷積得到權(quán)重梯度張量；該大卷積的卷積次序也與普通卷積的卷積次序有所不同。

所述大卷積的規(guī)模是指卷積中輸入圖和卷積核的面積；所述的大卷積的維度是指卷積中輸入圖的通道數(shù)以及卷積核的個(gè)數(shù)。

所述的前向推理的神經(jīng)網(wǎng)絡(luò)加速器是指能夠部署神經(jīng)網(wǎng)絡(luò)算法的加速硬件，通常只能進(jìn)行神經(jīng)網(wǎng)絡(luò)的前向推理，而無(wú)法完成網(wǎng)絡(luò)的訓(xùn)練任務(wù)。