[發(fā)明專利]運(yùn)算電路、運(yùn)算方法以及程序

在審

• 申請?zhí)枺?/td>: 201780094576.0
• 申請日: 2017-09-14
• 公開（公告）號: CN111052111A
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計(jì)）人: 田中進(jìn);森正志;橋本和茂
• 申請（專利權(quán)）人: 三菱電機(jī)株式會社
• 主分類號: G06F17/10
• 分類號: G06F17/10;G06N3/063
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會專利商標(biāo)事務(wù)所 11038
• 代理人: 許海蘭

在一個(gè)實(shí)施方式中，提供卷積神經(jīng)網(wǎng)絡(luò)中的卷積層的運(yùn)算方法。運(yùn)算方法包括：以與通過將輸入到卷積層的特征映射展開成一列而得到的輸入矢量(x)相對應(yīng)的方式，對卷積層中使用的內(nèi)核進(jìn)行變換，從而生成系數(shù)矩陣(A)的步驟；檢索包含于系數(shù)矩陣的非零要素的步驟；將包含于系數(shù)矩陣的各非零要素與輸入矢量的對應(yīng)要素的乘法運(yùn)算作為處理單位，以使能夠彼此并行處理的多個(gè)運(yùn)算器(CL)的各個(gè)運(yùn)算器中的處理單位的數(shù)量均衡化的方式，對各運(yùn)算器分配該乘法運(yùn)算的步驟；以及各運(yùn)算器依次執(zhí)行被分配的乘法運(yùn)算，將乘法運(yùn)算的結(jié)果累加到輸出矢量(f)的對應(yīng)要素的步驟。

技術(shù)領(lǐng)域

本公開涉及運(yùn)算電路、運(yùn)算方法以及用于執(zhí)行該運(yùn)算方法的程序，例如，適用于卷積神經(jīng)網(wǎng)絡(luò)中的卷積層的運(yùn)算。

背景技術(shù)

在圖案辨識等圖像處理、聲紋分析、機(jī)器人等眾多領(lǐng)域中，經(jīng)常使用被稱為卷積神經(jīng)網(wǎng)絡(luò)(CNN：Convolutional Neural Network)的運(yùn)算方法。一般，CNN包括進(jìn)行卷積運(yùn)算的卷積層、計(jì)算局部統(tǒng)計(jì)量的池化層、以及全連接層。卷積層以像素為單位在輸入特征映射上掃描內(nèi)核(還被稱為濾波器)，同時(shí)反復(fù)進(jìn)行輸入特征映射的對應(yīng)部分與內(nèi)核的乘積累加運(yùn)算，并對最終的乘積累加運(yùn)算結(jié)果進(jìn)行非線性變換，從而生成輸出特征映射。

日本特開2010-134697號公報(bào)(專利文獻(xiàn)1)公開了用于通過并行處理來執(zhí)行卷積運(yùn)算的運(yùn)算電路。具體而言，該文獻(xiàn)記載的運(yùn)算電路使用與內(nèi)核的列方向尺寸的數(shù)量對應(yīng)的乘法器以及累積加法器進(jìn)行并行運(yùn)算。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2010-134697號公報(bào)

發(fā)明內(nèi)容

在上述專利文獻(xiàn)記載的運(yùn)算電路中，由于直接使用特征映射以及內(nèi)核來進(jìn)行運(yùn)算，所以存在運(yùn)算的反復(fù)次數(shù)增加而處理延遲的問題。

因此，為了縮短處理時(shí)間，經(jīng)常使用在將特征映射或者內(nèi)核展開成1列后進(jìn)行運(yùn)算的方法。根據(jù)該方法，卷積運(yùn)算回歸為系數(shù)矩陣與矢量之積、即系數(shù)矩陣的各行的要素與矢量的要素之間的乘積累加運(yùn)算。例如，能夠通過與系數(shù)矩陣的行數(shù)對應(yīng)的數(shù)量的乘積累加運(yùn)算器來進(jìn)行并行運(yùn)算。

在此，在通過各乘積累加運(yùn)算器簡單地執(zhí)行乘積累加運(yùn)算器時(shí)，在系數(shù)矩陣的要素中包含有0的情況下，必須要注意的是，在無用的運(yùn)算中浪費(fèi)了時(shí)間。因此，通常，采用去掉系數(shù)矩陣中的為0的要素并通過乘積累加運(yùn)算器執(zhí)行運(yùn)算的方法。但是，非零要素的數(shù)量根據(jù)系數(shù)矩陣的行而不同，所以即使作為系數(shù)矩陣整體的非零要素的數(shù)量少，但整體的處理時(shí)間也由非零要素的數(shù)量最多的行的非零要素的數(shù)量決定。因此，哪怕只有1行非零要素多的行，整體的處理時(shí)間也由該行中的乘積累加運(yùn)算決定，作為結(jié)果，無法按照預(yù)期縮短整體的處理時(shí)間。

本公開考慮上述問題，其目的在于提供一種在進(jìn)行要素包含0的系數(shù)矩陣與矢量的乘法運(yùn)算時(shí)能夠縮短整體的處理時(shí)間的運(yùn)算電路以及運(yùn)算方法。此外，本公開的運(yùn)算電路以及運(yùn)算方法適用于CNN中的卷積運(yùn)算，但不限于CNN，還能夠應(yīng)用于其他領(lǐng)域。

一個(gè)實(shí)施方式的運(yùn)算電路用于對包含非零要素和零要素的系數(shù)矩陣從右側(cè)乘以輸入矢量，將運(yùn)算結(jié)果輸出到輸出矢量。運(yùn)算電路具備控制處理器以及能夠彼此并行處理的多個(gè)運(yùn)算器。控制處理器以包含于系數(shù)矩陣的各非零要素與輸入矢量的對應(yīng)要素的乘法運(yùn)算為處理單位，以使各運(yùn)算器中的處理單位的數(shù)量均衡化的方式，對各運(yùn)算器分配該乘法運(yùn)算。各運(yùn)算器依次執(zhí)行被分配的乘法運(yùn)算，將乘法運(yùn)算的結(jié)果累加到輸出矢量的對應(yīng)要素。

根據(jù)上述實(shí)施方式，由于以包含于系數(shù)矩陣的各非零要素與輸入矢量的對應(yīng)要素的乘法運(yùn)算為處理單位，以使各運(yùn)算器中的處理單位的數(shù)量均衡化的方式，對各運(yùn)算器分配該乘法運(yùn)算，所以能夠縮短整體的處理時(shí)間。

附圖說明

圖1是示出利用CNN執(zhí)行的運(yùn)算處理的流程圖。

圖2是用于說明卷積運(yùn)算的圖。