[發明專利]具有減小的帶寬要求的矩陣乘法

有效

• 申請號: 200710097456.4
• 申請日: 2007-04-29
• 公開（公告）號: CN101075185A
• 公開（公告）日: 2007-11-21
• 發明（設計）人: 諾伯特·朱法;約翰·R·尼科爾斯
• 申請（專利權）人: 輝達公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 北京律盟知識產權代理有限責任公司
• 代理人: 王允方;劉國偉

技術領域

本發明的實施例大體上涉及使用多線程處理或向量處理來執行矩陣乘法，且更具體來說涉及減小存儲器帶寬。

背景技術

矩陣—矩陣乘法是高性能計算領域中許多計算的重要構成塊。用于執行矩陣-矩陣乘法的每個乘法-加法運算均需要存取存儲器中的兩個源操作數。因此，在同時執行T個線程(每個線程執行一乘法—加法運算)的多線程處理器中，需要2T個存儲器操作數來供給用于運算的乘法部分的操作數。類似地，在并行執行T個數據通道的向量處理器(例如，T通道單指令多數據(SIMD)向量處理器)中，每個向量乘法-加法需要2T個存儲器操作數。一般來說，提供用于2T個同時存取的存儲器帶寬隨著T增加而逐漸變難，且因此矩陣乘法對于充分大的T來說存儲器帶寬變得有限。這限制了處理裝置針對矩陣乘法的整體計算性能。

因此，期望減小供給用于乘法-加法運算所需的存儲器帶寬，以改進針對矩陣乘法的計算性能。

發明內容

本發明涉及用于使用多線程處理器減小矩陣乘法的存儲器帶寬要求的新的系統和方法。通過以在矩陣乘法的給定步驟中，T個執行線程群組或T個向量通道對其各自乘法-加法運算共享兩個源操作數中的一個的方式執行兩個矩陣的乘法，可減小存儲器帶寬要求。通過在多線程處理裝置內包括操作數傳播機制來利用此方法。傳播機制允許將一個存儲位置的內容傳播到線程群組中的所有T個線程或向量中的所有T個通道，在該處所述值可用作執行指令的源操作數，所述執行指令包括構成乘法-加法運算的一個或多個指令。所述機制提供軟件方式來控制此傳播傳遞。當使用傳播機制時，可減小執行例如乘法-加法的運算所需的存儲器帶寬要求。

對于每個同時執行的乘法-加法運算，與使用執行矩陣乘法的常規方法時的2T個存儲器位置相反，線程群組的T個執行線程僅存取T+1個存儲器位置。當存儲器帶寬受限時，減小獲得用于矩陣乘法運算的操作數所需的存儲器帶寬可改進矩陣乘法性能。此外，可改進其它的存儲器帶寬受限的運算的性能。

本發明的用于執行線程群組中多個線程的程序指令的方法的各種實施例包括獲得由所述程序指令包括的傳播操作數規定的第一值和獲得由所述程序指令包括的并行操作數規定的一組第二值，其中所述第二值中的每一者均對應于所述線程群組中多個線程中的一者。將所述第一值提供到多個程序指令執行單元，將所述第二值提供到所述多個程序指令執行單元，且針對所述線程群組中多個線程中的每一者執行所述程序指令。

本發明的用于將第一矩陣與第二矩陣的第一列相乘以產生乘積矩陣的第一列的方法的各種實施例包括將第一矩陣的第一列的每個元素乘以第二矩陣的第一列的第一元素以產生對應于乘積矩陣的第一列的第一元素群組，將對應于乘積矩陣的列的第一元素群組存儲在一組寄存器中，將第一矩陣的第二列的每個元素乘以第二矩陣的第一列的第二元素以產生對應于乘積矩陣的第一列的第二元素群組，將所存儲的元素群組中的每個元素與第二元素群組中的相應元素求和以產生乘積矩陣的第一列內的乘積元素群組，和將所述乘積元素群組存儲在所述組寄存器中。

附圖說明

為了能詳細理解上文陳述的本發明的特征，參考實施例可獲得上文簡要概述的本發明的更特定描述，所述實施例中的某些在附圖中有說明。然而應注意，附圖僅說明本發明的典型實施例，且因此不應視為限制本發明的范圍，本發明可允許其它同樣有效的實施例。

圖1A說明根據本發明一個或一個以上方面的經相乘以產生矩陣C的矩陣A和矩陣B的概念圖。

圖1B說明根據本發明一個或一個以上方面的將矩陣A與矩陣B相乘以產生矩陣C的示范性方法的流程圖。

圖1C說明根據本發明一個或一個以上方面的接收并行操作數和傳播操作數的多個執行單元的概念方框圖。

圖2說明根據本發明一個或一個以上方面的執行包括傳播操作數的指令的示范性方法的流程圖。

具體實施方式

在以下描述中，陳述多種特定細節來提供對本發明的更徹底的理解。然而，所屬領域的技術人員將明了，可在沒有這些特定細節中的一個或一個以上細節的情況下實踐本發明。在其它情況下，為了避免混淆本發明，沒有描述眾所周知的特征。