[發(fā)明專利]使用矩陣乘法加速器(MMA)實(shí)施基本計算原語

在審

• 申請?zhí)枺?/td>: 201880014494.5
• 申請日: 2018-03-01
• 公開（公告）號: CN110352422A
• 公開（公告）日: 2019-10-18
• 發(fā)明（設(shè)計）人: A·J·雷德芬;T·D·安德森;K·車爾卡;C·羅;Z·余
• 申請（專利權(quán)）人: 德克薩斯儀器股份有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 北京紀(jì)凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 袁策

在一種用于在設(shè)備中執(zhí)行基本計算原語的方法中，該設(shè)備包括處理器和矩陣乘法加速器(MMA)。該方法包括配置(200)設(shè)備中的流式傳輸引擎以從存儲器流式傳輸用于基本計算原語的數(shù)據(jù)，配置(202)MMA以格式化數(shù)據(jù)，以及由設(shè)備執(zhí)行(204)基本計算原語。

背景技術(shù)

諸如語音識別、智能工業(yè)控制、對象檢測和識別以及視覺等應(yīng)用越來越多地遷移到嵌入式設(shè)備。在此類設(shè)備中可能需要硬件加速以支持在此類應(yīng)用中使用的算法的計算需求。

發(fā)明內(nèi)容

本文描述的示例涉及使用矩陣乘法加速器來實(shí)施基本計算原語。在一個方面，提供一種用于在設(shè)備中執(zhí)行基本計算原語的方法，其中該設(shè)備包括處理器和矩陣乘法加速器(MMA)。該方法包括配置設(shè)備中的流式傳輸引擎以從存儲器流式傳輸用于基本計算原語的數(shù)據(jù)，配置MMA以格式化數(shù)據(jù)，以及由設(shè)備執(zhí)行基本計算原語。

在一個方面，提供一種設(shè)備，該設(shè)備包括存儲器、耦合到存儲器的處理器以及耦合到處理器的矩陣乘法加速器(MMA)，該MMA包括乘數(shù)緩沖器和第一被乘數(shù)緩沖器，其中該設(shè)備可操作以配置設(shè)備中的流式傳輸引擎以從存儲器流式傳輸用于基本計算原語的數(shù)據(jù)，配置MMA以格式化數(shù)據(jù)并執(zhí)行基本計算原語。

附圖說明

圖1描繪可配置成使用耦合到處理器的矩陣乘法加速器(MMA)來實(shí)施基本計算原語的示例設(shè)備。

圖2為用于在圖1的設(shè)備中執(zhí)行基本計算原語的方法的流程圖。

圖3為示出圖1的設(shè)備中的批量小矩陣矩陣乘法的實(shí)施方式的示例。

圖4為示出圖1的設(shè)備中的大矩陣矩陣乘法的實(shí)施方式的示例。

圖5為示出圖1的設(shè)備中的矩陣矩陣逐點(diǎn)乘法的實(shí)施方式的示例。

圖6為示出圖1的設(shè)備中的矩陣矩陣加法的實(shí)施方式的示例。

圖7為示出圖1的設(shè)備中的小向量矩陣乘法的實(shí)施方式的示例。

圖8為示出圖1的設(shè)備中的小向量求和的實(shí)施方式的示例。

圖9為示出圖1的設(shè)備中的仿射變換的實(shí)施方式的示例。

圖10和圖11為示出圖1的設(shè)備中的二維(2D)卷積的實(shí)施方式的示例。

圖12為示出圖1的設(shè)備中的矩陣行置換的實(shí)施方式的示例。

圖13為示出圖1的設(shè)備中的向量列置換的實(shí)施方式的示例。

圖14為示出濾波器大小和吞吐量之間的折衷的曲線圖。

具體實(shí)施方式

為了一致性，附圖中的相同元件由相同的附圖標(biāo)記表示。

本文描述的示例提供使用矩陣乘法加速器(MMA)實(shí)施諸如語音識別、智能工業(yè)控制、對象檢測和識別以及視覺的應(yīng)用所使用的基本計算原語。基本計算原語包括例如在卷積神經(jīng)網(wǎng)絡(luò)(CNN)中使用的二維(2D)卷積、小矩陣矩陣乘法和大矩陣矩陣乘法、矩陣矩陣逐點(diǎn)乘法、矩陣矩陣加法、向量矩陣乘法、向量求和、仿射變換、快速傅里葉變換、離散余弦變換、卷積、相關(guān)、矩陣賦值、矩陣置換和矩陣變換。

圖1描繪示例設(shè)備100，該示例設(shè)備100可配置成使用耦合到處理器102的矩陣乘法加速器(MMA)104來實(shí)施基本計算原語，諸如本文先前提到的那些。MMA104包括執(zhí)行矩陣乘法的功能。矩陣乘法為從兩個矩陣產(chǎn)生矩陣的二進(jìn)制操作。更具體地，如果乘數(shù)矩陣A為M×K矩陣并且被乘數(shù)矩陣B為K×N矩陣，則這兩個矩陣的矩陣乘積為M×N矩陣C，其中A的行n上的m個元素與B的列K下的m個元素相乘，并求和以產(chǎn)生元素C_mn。