[發(fā)明專利]一種面向內(nèi)存計(jì)算和室內(nèi)是否有人的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910584312.4
• 申請(qǐng)日: 2019-07-01
• 公開(kāi)（公告）號(hào): CN110363287B
• 公開(kāi)（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 楊晨;陳琦;張靖宇;張景越;徐建龍
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李紅霖

1.一種面向內(nèi)存計(jì)算和室內(nèi)是否有人的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法，其特征在于，設(shè)計(jì)超輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型，即UL-CNN模型；將UL-CNN模型根據(jù)基于內(nèi)存計(jì)算架構(gòu)的芯片對(duì)高電平不敏感以及內(nèi)存限制在2K*2K范圍內(nèi)的規(guī)則，使用定點(diǎn)化處理調(diào)整卷積運(yùn)算和全連接矩陣運(yùn)算方法，從而使UL-CNN模型應(yīng)用在基于內(nèi)存計(jì)算架構(gòu)的芯片上進(jìn)行推理，最終進(jìn)行室內(nèi)是否有人檢測(cè)；

所述UL-CNN模型使用卷積層和全連接層對(duì)輸入圖像進(jìn)行訓(xùn)練和測(cè)試，輸入圖像采用MPR數(shù)據(jù)集的圖像進(jìn)行訓(xùn)練，將輸入圖像進(jìn)行卷積層和全連接層運(yùn)算方法，根據(jù)基于內(nèi)存計(jì)算架構(gòu)的芯片對(duì)高電平不敏感的規(guī)則，將UL-CNN模型的卷積層和全連接層中每一層的運(yùn)算結(jié)果定點(diǎn)化到低電平，UL-CNN模型應(yīng)用于基于內(nèi)存計(jì)算芯片時(shí)，根據(jù)內(nèi)存有大小限制在2K*2K范圍內(nèi)的規(guī)則，將UL-CNN模型按照?qǐng)D形方式放入內(nèi)存上進(jìn)行網(wǎng)絡(luò)推理計(jì)算，測(cè)試室內(nèi)是否有人；

將UL-CNN模型根據(jù)基于內(nèi)存計(jì)算架構(gòu)的芯片對(duì)高電平不敏感以及內(nèi)存限制在2K*2K范圍內(nèi)的規(guī)則，使用定點(diǎn)化處理調(diào)整卷積運(yùn)算和全連接矩陣運(yùn)算方法，具體包括以下步驟：

步驟1.1、規(guī)定卷積層空間：為卷積層分配一半的空間2K*1K；

步驟1.2、定點(diǎn)化卷積運(yùn)算：設(shè)計(jì)三層不同大小的卷積核，分別為5*5、7*7和9*9，并對(duì)卷積核中的數(shù)值按照正態(tài)分布進(jìn)行初始化，MPR數(shù)據(jù)集中圖像作為第一層輸入圖像與第一層5*5卷積核進(jìn)行定點(diǎn)化卷積運(yùn)算，具體是首先根據(jù)輸入數(shù)值必須是正數(shù)，將卷積核的權(quán)值Conv的正數(shù)和負(fù)數(shù)分開(kāi)，分別表示為Conv+和Conv-，Conv+為Conv矩陣將正數(shù)保留負(fù)數(shù)用0代替，Conv-為Conv矩陣將負(fù)數(shù)保留取絕對(duì)值正數(shù)用0代替，然后通過(guò)無(wú)意義數(shù)值對(duì)Conv+和Conv-矩陣每一列進(jìn)行補(bǔ)齊，使得新的矩陣ConvN+和ConvN-大小相同，并且每一列數(shù)值相加結(jié)果相同，且每一個(gè)補(bǔ)齊的數(shù)值不大于原有權(quán)值Conv中最大絕對(duì)數(shù)值的一半，之后通過(guò)從輸入圖像矩陣中以步長(zhǎng)為1的方式從像素坐標(biāo)為(0,0)的位置開(kāi)始讀取和初始Conv矩陣大小相同的矩陣，作為輸入矩陣input，對(duì)input每一列用0補(bǔ)齊，使得input和ConvN+和ConvN-具有相同矩陣大小，之后將input和新的權(quán)值ConvN+和ConvN-進(jìn)行卷積計(jì)算，按照公式得到卷積計(jì)算結(jié)果，其中，output_a,b為卷積計(jì)算結(jié)果，作為下一個(gè)特征圖像第a行第b列的值，a表示在上一層特征圖中，input橫向以步長(zhǎng)為1進(jìn)行移動(dòng)的a次，b表示在上一層特征圖中，input縱向以步長(zhǎng)為1進(jìn)行移動(dòng)b次，為卷積運(yùn)算，i為ConvN+和ConvN-矩陣第i列的值，最后對(duì)卷積計(jì)算結(jié)果進(jìn)行Relu激活函數(shù)運(yùn)算得到第一層特征圖像；

第一層特征圖像與7*7卷積核使用和5*5定點(diǎn)化卷積計(jì)算相同的方法進(jìn)行定點(diǎn)化卷積計(jì)算和激活函數(shù)運(yùn)算得到第二層特征圖像；第二層特征圖像與9*9卷積核使用和5*5定點(diǎn)化卷積計(jì)算相同的方法進(jìn)行定點(diǎn)化卷積計(jì)算和激活函數(shù)運(yùn)算得到第三層特征圖像；

步驟1.3、定點(diǎn)化全連接層運(yùn)算：將所有全連接參數(shù)放入內(nèi)存中剩下的2K*1K空間進(jìn)行全連接計(jì)算，將第三層特征圖像通過(guò)雙線插值轉(zhuǎn)化為一維向量為1*n，其中n為第三層特征圖像的長(zhǎng)、寬和通道數(shù)之積，根據(jù)內(nèi)存空間大小限制第一層全連接參數(shù)節(jié)點(diǎn)數(shù)為512，矩陣參數(shù)為n*512，一維向量和全連接第一層參數(shù)進(jìn)行定點(diǎn)化全連接矩陣相乘運(yùn)算，具體是首先根據(jù)輸入數(shù)值必須是正數(shù)，將第一層參數(shù)矩陣的權(quán)值FC的正數(shù)和負(fù)數(shù)分開(kāi)，F(xiàn)C+矩陣將保留正數(shù)，負(fù)數(shù)用0代替，F(xiàn)C-將保留負(fù)數(shù)絕對(duì)值，正數(shù)用0代替，然后通過(guò)無(wú)效數(shù)值對(duì)FC+和FC-矩陣的每一列進(jìn)行補(bǔ)齊，使得FC+和FC-矩陣大小相同，同時(shí)每一列矩陣值相加結(jié)果相同，且每一個(gè)補(bǔ)齊的數(shù)值不大于原有權(quán)值FC中最大絕對(duì)數(shù)值的一半，得到新的補(bǔ)齊后的FCN+和FCN-矩陣，之后通過(guò)上一層一位向量表示為FCinput和新的權(quán)值FCN+和FCN-進(jìn)行矩陣相乘，按照公式得到計(jì)算結(jié)果，得到下一層的全連接層計(jì)算輸出，其中FCoutput為下一層的全連接層計(jì)算輸出，i為FCN+和FCN-矩陣第i列的值，最后對(duì)全連接計(jì)算結(jié)果FCoutput進(jìn)行Relu激活函數(shù)運(yùn)算得到第一層全連接輸出；

第二層全連接參數(shù)結(jié)點(diǎn)數(shù)為32，矩陣參數(shù)為512*32，與第一層定點(diǎn)化全連接矩陣相乘運(yùn)算相同得到第二層全連接輸出，第三層全連接參數(shù)結(jié)點(diǎn)數(shù)根據(jù)2分類，矩陣參數(shù)為32*2，與第一層定點(diǎn)化全連接矩陣相乘運(yùn)算相同得到第三層全連接輸出；

步驟1.4、根據(jù)上述1.1-1.3步驟設(shè)計(jì)的UL-CNN網(wǎng)絡(luò)和運(yùn)算方法，通過(guò)MPR數(shù)據(jù)集在GPU上進(jìn)行反向傳播訓(xùn)練，得到訓(xùn)練好的UL-CNN模型。