[發(fā)明專利]向量運(yùn)算裝置有效
| 申請?zhí)枺?/td> | 202011132750.6 | 申請日： | 2020-10-21 |
| 公開（公告）號： | CN112199119B | 公開（公告）日： | 2022-02-01 |
| 發(fā)明（設(shè)計）人： | 不公告發(fā)明人 | 申請（專利權(quán)）人： | 上海壁仞智能科技有限公司 |
| 主分類號： | G06F9/30 | 分類號： | G06F9/30;G06F17/16 |
| 代理公司： | 北京市金杜律師事務(wù)所 11256 | 代理人： | 董莘 |
| 地址： | 201114 上海市閔行區(qū)*** | 國省代碼： | 上海;31 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 向量 運(yùn)算 裝置 | ||
本發(fā)明涉及一種統(tǒng)合矩陣連乘和累加計算的向量運(yùn)算裝置和方法，該裝置包括：流多處理器和通用矩陣連乘計算單元。流多處理器包含通用寄存器，而通用矩陣連乘計算單元包含指令隊列和算術(shù)邏輯單元。算術(shù)邏輯單元耦接通用寄存器，依據(jù)指令隊列中的通用矩陣連乘指令執(zhí)行矩陣連乘和累加計算，并且將計算結(jié)果存儲到通用寄存器。本發(fā)明通過如上所述的流多處理器和通用矩陣連乘計算單元的統(tǒng)合架構(gòu)，可避免耗費(fèi)時間和總線帶寬在通用矩陣連乘計算單元中的本地緩存和流多處理器的通用寄存器之間遷移數(shù)據(jù)。
技術(shù)領(lǐng)域
本發(fā)明涉及向量運(yùn)算領(lǐng)域，尤指一種統(tǒng)合矩陣連乘和累加的計算的向量運(yùn)算裝置和方法。
背景技術(shù)
向量計算機(jī)是一種配備了專門的向量指令，用于提高向量處理速度的計算機(jī)。向量計算機(jī)能夠同時處理多個線程束(Warp)的數(shù)據(jù)計算，因此，向量計算機(jī)就處理線程束的數(shù)據(jù)而言，比標(biāo)量計算機(jī)快得多。為了計算多個線程束的數(shù)據(jù)，向量計算機(jī)通常配備流多處理器集群(Streaming Multiprocessor Cluster，SMC)。另外，為了大數(shù)據(jù)和人工智能的計算應(yīng)用，向量計算機(jī)配置矩陣連乘和累加的計算的需求高度增加。因此，本發(fā)明提出一種向量運(yùn)算裝置和方法，用于統(tǒng)合矩陣連乘和累加的計算。
發(fā)明內(nèi)容
有鑒于此，為了大數(shù)據(jù)和人工智能的計算應(yīng)用，向量計算機(jī)架構(gòu)的重新設(shè)計是個重要的課題。
本發(fā)明的實施例涉及一種向量運(yùn)算裝置，包括：流多處理器和通用矩陣連乘計算單元。流多處理器包含通用寄存器，而通用矩陣連乘計算單元包含指令隊列和算術(shù)邏輯單元。算術(shù)邏輯單元耦接通用寄存器，依據(jù)指令隊列中的通用矩陣連乘指令執(zhí)行矩陣連乘和累加計算，并且將計算結(jié)果存儲到通用寄存器。
本發(fā)明的實施例還涉及一種向量運(yùn)算方法，由流多處理器和通用矩陣連乘計算單元協(xié)力執(zhí)行，其中，流多處理器包含第一算術(shù)邏輯單元，通用矩陣連乘計算單元包含第二算術(shù)邏輯單元，所述方法包括：第一算術(shù)邏輯單元當(dāng)提取的指令是通用矩陣連乘指令時，從流多處理器中的通用寄存器讀取來源數(shù)據(jù)，將通用矩陣連乘指令和來源數(shù)據(jù)推入通用矩陣連乘計算單元中的指令隊列；以及第二算術(shù)邏輯單元依據(jù)指令隊列中的通用矩陣連乘指令執(zhí)行矩陣連乘和累加計算，并且將計算結(jié)果存儲到流多處理器中的通用寄存器或者通用矩陣連乘計算單元中的本地緩存。
上述實施例的優(yōu)點之一，通過以上所述的流多處理器和通用矩陣連乘計算單元的統(tǒng)合架構(gòu)，可避免耗費(fèi)時間和總線帶寬在通用矩陣連乘計算單元中的本地緩存和流多處理器的通用寄存器之間遷移數(shù)據(jù)。
本發(fā)明的其他優(yōu)點將配合以下的說明和附圖進(jìn)行更詳細(xì)的解說。
附圖說明
此處所說明的附圖用于提供對本申請的進(jìn)一步理解，構(gòu)成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構(gòu)成對本申請的不當(dāng)限定。
圖1為向量運(yùn)算系統(tǒng)的框圖。
圖2為矩陣連乘和累加的示意圖。
圖3為依據(jù)本發(fā)明實施例的統(tǒng)合流多處理器集群和通用矩陣連乘計算單元的裝置的框圖。
圖4為依據(jù)本發(fā)明實施例的流多處理器中的算術(shù)邏輯單元的框圖。
圖5為依據(jù)本發(fā)明實施例的統(tǒng)合矩陣連乘和累加計算的向量運(yùn)算的方法流程圖。
其中，附圖中符號的簡單說明如下：
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于上海壁仞智能科技有限公司，未經(jīng)上海壁仞智能科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011132750.6/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 移動向量解碼方法和移動向量解碼裝置
- 一種用于支持向量機(jī)的在線向量選取方法
- 用于在幀序列中執(zhí)行運(yùn)動估計的數(shù)據(jù)處理系統(tǒng)和方法
- 神經(jīng)網(wǎng)絡(luò)的處理方法及裝置、存儲介質(zhì)、電子設(shè)備
- 字符序列處理方法及設(shè)備
- 向量獲取方法、裝置、電子設(shè)備以及計算機(jī)可讀存儲介質(zhì)
- 向量獲取方法、裝置、電子設(shè)備以及計算機(jī)可讀存儲介質(zhì)
- 近鄰向量的召回方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)
- 一種向量運(yùn)算裝置及運(yùn)算方法
- 生成類別向量的方法和裝置
