[發(fā)明專利]一種矩陣乘法的計(jì)算方法及裝置

在審

• 申請?zhí)枺?/td>: 201810386460.0
• 申請日: 2018-04-26
• 公開（公告）號(hào): CN110415157A
• 公開（公告）日: 2019-11-05
• 發(fā)明（設(shè)計(jì)）人: 方民權(quán);吳小蓉;程劍
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06T1/20
• 分類號(hào): G06T1/20;G06F17/16
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請?zhí)岢鲆环N矩陣乘法器。由于現(xiàn)有的矩陣乘法器所包含的全連接網(wǎng)絡(luò)占用芯片空間較大，且進(jìn)行矩陣乘法計(jì)算時(shí)需要進(jìn)行大量的存儲(chǔ)訪問，導(dǎo)致流多處理器進(jìn)行矩陣乘法計(jì)算效率較低?；谔岣邎D形處理器進(jìn)行矩陣乘法計(jì)算的效率的目的，本申請所提出的矩陣乘法器在進(jìn)行矩陣乘法時(shí)，利用不同組的存儲(chǔ)庫可以同時(shí)訪問的特性，每次將作為被乘數(shù)的矩陣的一行元素以及作為乘數(shù)的矩陣的一列元素加載到相應(yīng)的計(jì)算單元中，同時(shí)進(jìn)行計(jì)算。通過使用這種矩陣乘法器，可以減少完成矩陣乘法計(jì)算所需要的步驟，降低了所需進(jìn)行的存儲(chǔ)訪問的次數(shù)，從而提高了圖形處理器進(jìn)行矩陣乘法計(jì)算的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖形技術(shù)領(lǐng)域，特別涉及一種矩陣乘法計(jì)算的技術(shù)領(lǐng)域。

背景技術(shù)

圖形處理器(英文全稱：Graphics Processing Unit，縮寫：GPU)是一種用于在主機(jī)等設(shè)備上進(jìn)行圖像運(yùn)算工作的微處理器。在GPU中，流多處理器(英文全稱：StreamingMultiprocessor，縮寫：SM)是基本計(jì)算單元，其采用單指令多線程的執(zhí)行方式，能夠保證多線程的同時(shí)執(zhí)行。大致來說，SM包括指令緩存(英文：Instruction Buffer)、線程束調(diào)度器(英文：Warp Scheduler)、指令分發(fā)單元(英文：Dispatch Unit)、流處理器(英文全稱：Streaming Processor，縮寫：SP)、雙精度浮點(diǎn)運(yùn)算單元(英文全稱：Double precisionfloating-point unit，縮寫：DP)等單元。

在GPU進(jìn)行圖像處理時(shí)，矩陣乘法是其進(jìn)行數(shù)據(jù)計(jì)算中最重要的操作之一，具有很多的應(yīng)用。例如，在深度學(xué)習(xí)的結(jié)構(gòu)中，卷積神經(jīng)網(wǎng)絡(luò)在圖像和語音識(shí)別方面能夠給出更好的結(jié)果，對于大型圖像處理有著出色的表現(xiàn)，而在某些卷積神經(jīng)網(wǎng)絡(luò)的具體實(shí)現(xiàn)過程中，可以將卷積計(jì)算轉(zhuǎn)化為矩陣乘法計(jì)算，將卷積核矩陣和輸入圖像矩陣變換成兩個(gè)大的矩陣A和B，然后A和B相乘得到結(jié)果矩陣D。其中，結(jié)果矩陣D的每一行表示一個(gè)輸出圖像，其輸出圖像的個(gè)數(shù)等于結(jié)果矩陣D的行數(shù)。

矩陣，是數(shù)學(xué)中一個(gè)重要的基本概念，一個(gè)M*N的矩陣是一個(gè)由M行N列元素排列成的矩形陣列。對于矩陣乘法，它只有在作為被乘數(shù)的第一個(gè)矩陣的列數(shù)和作為乘數(shù)的第二個(gè)矩陣的行數(shù)相同時(shí)才可以進(jìn)行。矩陣乘法的計(jì)算規(guī)則是，第一個(gè)矩陣第一行的每個(gè)元素，分別乘以第二個(gè)矩陣第一列對應(yīng)位置的元素，然后將乘積相加，作為結(jié)果矩陣第一行第一列的元素。以此類推，結(jié)果矩陣第J行第K列的元素，等于第一個(gè)矩陣的第J行與第二個(gè)矩陣第K列，對應(yīng)位置每個(gè)元素的乘積的和。而矩陣加法的計(jì)算規(guī)則相對簡單，即將兩個(gè)待相加的矩陣相同位置上的元素進(jìn)行相加，作為結(jié)果矩陣該位置上的元素，從而得到結(jié)果矩陣。

相應(yīng)的，對于GPU中的SM來說，矩陣乘法器是重要的組成部分，它是GPU采用各種算法執(zhí)行矩陣乘法操作的依托，目前，GPU中的SM執(zhí)行矩陣乘法操作存在著需要占用大量的芯片空間以及需要進(jìn)行大量的存儲(chǔ)訪問的問題，從而導(dǎo)致SM進(jìn)行矩陣乘法計(jì)算效率較低。

發(fā)明內(nèi)容

本申請的實(shí)施例提供一種矩陣乘法器，可以提高矩陣乘法計(jì)算的效率。