[發明專利]一種利用NVIDIA Kepler GPU匯編指令加速的卷積優化方法及系統

有效

• 申請號: 201611215263.X
• 申請日: 2016-12-26
• 公開（公告）號: CN106846235B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 周可人;譚光明
• 申請（專利權）人: 中國科學院計算技術研究所;中國科學院國有資產經營有限責任公司
• 主分類號: G06T1/20
• 分類號: G06T1/20
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;李巖

1.一種利用NVIDIA Kepler GPU匯編指令加速的卷積優化方法，其特征在于，將N,C*R*S大小的矩陣與C*R*S,K大小的矩陣相乘，獲得N,K大小的輸出元素，對N維度用b_x做分塊，對K維度用b_y作分塊，獲得GPU的block維度為P*Q,N/b_x,K/b_y，其中N為批處理圖像數目，K為輸出圖像深度，C為輸入圖像深度，R為卷積核高度，S為卷積核寬度，P為輸出圖像高度，Q為輸出圖像寬度，b_x為輸入圖像在N維度的分塊數，b_y為卷積核在K維度的分塊數；

具體包括：

步驟11，首先根據C*R*S與pad的信息，計算出在輸入圖像上對應取元素的起始地址，存儲到GPU上的二級存儲；

步驟12，讀取index信息，在輸入圖像上每次連續取S行b_x個元素，取完R列以后，重復C次；

步驟13，在filter取C*R*S行b_y個元素；

步驟14，將步驟12取出的元素與步驟13取出的元素做矩陣乘運算；在GPU上的二級存儲開辟4個暫存空間smA、smB、smAx、smBx；從GPU上的一級存儲讀取暫存空間smA大小的矩陣到暫存空間smA，讀取暫存空間smB大小的矩陣到暫存空間smB；每次從暫存空間smA加載一列元素到寄存器，從暫存空間smB加載一行元素到寄存器，做矩陣乘運算；在做矩陣乘運算的同時，從GPU上的一級存儲讀取下一個暫存空間smA與暫存空間smB的一行到暫存空間smAx與暫存空間smBx；做完暫存空間smA與暫存空間smB的矩陣乘以后，將暫存空間smA與暫存空間smAx地址互換，將暫存空間smB與暫存空間smBx地址互換；

步驟15，在輸出時每次輸出一行b_x個元素，重復k次。

2.如權利要求1所述的利用NVIDIA Kepler GPU匯編指令加速的卷積優化方法，其特征在于，設置GPU處理器上的運算單元的大小為8。

3.如權利要求1所述的利用NVIDIA Kepler GPU匯編指令加速的卷積優化方法，其特征在于，采用STS.128指令。

4.一種利用NVIDIA Kepler GPU匯編指令加速的卷積優化系統，其特征在于，包括優化模塊，用于將N,C*R*S大小的矩陣與C*R*S,K大小的矩陣相乘，獲得N,K大小的輸出元素，對N維度用b_x做分塊，對K維度用b_y作分塊，獲得GPU的block維度為P*Q,N/b_x,K/b_y，其中N為批處理圖像數目，K為輸出圖像深度，C為輸入圖像深度，R為卷積核高度，S為卷積核寬度，P為輸出圖像高度，Q為輸出圖像寬度，b_x為輸入圖像在N維度的分塊數，b_y為卷積核在K維度的分塊數；

優化模塊具體包括：根據C*R*S與pad的信息，計算出在輸入圖像上對應取元素的起始地址，存儲到GPU上的二級存儲；讀取index信息，在輸入圖像上每次連續取S行b_x個元素，取完R列以后，重復C次；在filter取C*R*S行b_y個元素；將從輸入圖像取出的元素與從filter取出的元素做矩陣乘運算；在輸出時每次輸出一行b_x個元素，重復k次；其中所述矩陣乘運算包括：在GPU上的二級存儲開辟4個暫存空間smA、smB、smAx、smBx；從GPU上的一級存儲讀取暫存空間smA大小的矩陣到暫存空間smA，讀取暫存空間smB大小的矩陣到暫存空間smB；每次從暫存空間smA加載一列元素到寄存器，從暫存空間smB加載一行元素到寄存器，做矩陣乘運算；在做矩陣乘運算的同時，從GPU上的一級存儲讀取下一個暫存空間smA與暫存空間smB的一行到暫存空間smAx與暫存空間smBx；做完暫存空間smA與暫存空間smB的矩陣乘以后，將暫存空間smA與暫存空間smAx地址互換，將暫存空間smB與暫存空間smBx地址互換。