[發(fā)明專利]基于OpenCL的卷積神經(jīng)網(wǎng)絡(luò)并行處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910331464.3
• 申請(qǐng)日: 2019-04-24
• 公開（公告）號(hào): CN110110844B
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 田小林;荀亮;張晰;李嬌嬌;李芳;李帥;逯甜甜;焦李成
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;王品華

1.一種基于OpenCL的卷積神經(jīng)網(wǎng)絡(luò)并行處理方法，其特征在于，獲取圖像數(shù)據(jù)矩陣的重組矩陣，分塊并行計(jì)算權(quán)值矩陣與重組矩陣的乘積，并行批量歸一化乘積矩陣；該方法的具體步驟包括如下：

(1)獲取圖像數(shù)據(jù)矩陣的重組矩陣：

(1a)在主機(jī)內(nèi)存中讀取圖像數(shù)據(jù)矩陣；

(1b)在GPU全局內(nèi)存中創(chuàng)建圖像數(shù)據(jù)矩陣緩存對(duì)象，將圖像數(shù)據(jù)矩陣從主機(jī)內(nèi)存?zhèn)鬏斨翀D像數(shù)據(jù)矩陣緩存對(duì)象中；

(1c)對(duì)圖像數(shù)據(jù)矩陣進(jìn)行并行組合重排，獲得一個(gè)二維的重組矩陣；

(2)獲取權(quán)值矩陣：

(2a)在主機(jī)內(nèi)存中分別讀取卷積核的數(shù)量和所有卷積核的權(quán)值，將所讀取的所有卷積核的權(quán)值依次按行排列，組成權(quán)值矩陣；

(2b)在GPU全局內(nèi)存中創(chuàng)建權(quán)值矩陣緩存對(duì)象，將權(quán)值矩陣從主機(jī)內(nèi)存?zhèn)鬏斨翙?quán)值矩陣緩存對(duì)象中；

(3)分塊并行計(jì)算權(quán)值矩陣與重組矩陣的乘積：

(3a)創(chuàng)建OpenCL矩陣乘法內(nèi)核，設(shè)置OpenCL矩陣乘法內(nèi)核的二維全局工作項(xiàng)總數(shù)和二維工作組大小，并行執(zhí)行OpenCL矩陣乘法內(nèi)核的所有工作項(xiàng)；

(3b)以64×64個(gè)數(shù)據(jù)元素的大小，將權(quán)值矩陣不重疊地均勻分塊，每一塊構(gòu)成一個(gè)權(quán)值共享矩陣，將重組矩陣不重疊地均勻分塊，每一塊構(gòu)成一個(gè)重組共享矩陣，在GPU中并行地將所有權(quán)值共享矩陣和重組共享矩陣從全局內(nèi)存?zhèn)鬏斨凉ぷ鹘M的局部?jī)?nèi)存；

(3c)以8×4個(gè)數(shù)據(jù)元素的大小，將權(quán)值共享矩陣不重疊地均勻分塊，每一塊構(gòu)成一個(gè)權(quán)值因子矩陣，將重組共享矩陣不重疊地均勻分塊，每一塊構(gòu)成一個(gè)重組因子矩陣，在GPU中并行地將所有權(quán)值因子矩陣和重組因子矩陣從局部?jī)?nèi)存?zhèn)鬏斨凉ぷ黜?xiàng)的私有內(nèi)存；

(3d)在每個(gè)并行的工作項(xiàng)中，將權(quán)值因子矩陣和重組因子矩陣相乘，將乘積累加后組成乘積分塊矩陣；

(3e)在GPU全局內(nèi)存中創(chuàng)建乘積矩陣緩存對(duì)象，將每個(gè)工作項(xiàng)中的乘積分塊矩陣組合成完整的乘積矩陣，并行地將乘積矩陣從私有內(nèi)存中傳輸至乘積矩陣緩存對(duì)象中；

(4)對(duì)乘積矩陣進(jìn)行并行批量歸一化：

(4a)創(chuàng)建OpenCL批量均方內(nèi)核，將OpenCL批量均方內(nèi)核的一維全局工作項(xiàng)數(shù)設(shè)置為乘積矩陣行數(shù)的512倍，將一維工作組大小設(shè)置為512，并行執(zhí)行OpenCL批量均方內(nèi)核的所有工作項(xiàng)；

(4b)在GPU中并行地計(jì)算批量乘積矩陣中每行的均值和每行的方差；

(4c)創(chuàng)建OpenCL批量歸一化內(nèi)核，將OpenCL批量歸一化內(nèi)核的一維全局工作項(xiàng)總數(shù)設(shè)置為批量乘積矩陣的總數(shù)與乘積矩陣行數(shù)和列數(shù)的乘積，將一維工作組大小設(shè)置為512，并行執(zhí)行OpenCL批量歸一化內(nèi)核的所有工作項(xiàng)；

(4d)在GPU中并行地將乘積矩陣進(jìn)行批量歸一化；

(5)輸出特征值矩陣：

(5a)使用帶泄漏的線性整流函數(shù)，構(gòu)造OpenCL激活內(nèi)核，計(jì)算批量乘積矩陣的總數(shù)與乘積矩陣行數(shù)和列數(shù)的乘積，將該乘積設(shè)置為OpenCL激活內(nèi)核的一維全局工作項(xiàng)的總數(shù)，將一維工作組大小設(shè)置為512；

(5b)利用帶泄漏的線性整流函數(shù)，在GPU中將乘積矩陣中的每個(gè)元素并行地進(jìn)行激活，得到特征值矩陣；

(5c)將GPU全局內(nèi)存中的特征值矩陣傳輸回主機(jī)內(nèi)存，輸出特征值矩陣和運(yùn)行時(shí)間。