[發(fā)明專利]計(jì)算裝置以及用于加載或更新數(shù)據(jù)的方法

有效

• 申請?zhí)枺?/td>: 202011260055.8
• 申請日: 2020-11-12
• 公開（公告）號: CN112380150B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 上海壁仞智能科技有限公司
• 主分類號: G06F12/0802
• 分類號: G06F12/0802;G06F15/78;G06F3/06;G06F13/40
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 黃倩

本公開的實(shí)施例涉及計(jì)算裝置和用于加載數(shù)據(jù)的方法，涉及計(jì)算機(jī)領(lǐng)域。根據(jù)該方法，第一處理單元向近存儲器處理單元發(fā)送第一指令，第一指令包括第一地址、多個(gè)第二地址和操作類型；近存儲器處理單元響應(yīng)于第一指令，對第一存儲器的多個(gè)第二地址上的多個(gè)數(shù)據(jù)項(xiàng)執(zhí)行與操作類型相關(guān)聯(lián)的操作，以生成操作結(jié)果；近存儲器處理單元將操作結(jié)果存儲到第一存儲器的第一地址；第一處理單元發(fā)出清空指令，以用于使得第一地址上的操作結(jié)果對于第一處理單元可見；以及第一處理單元發(fā)出讀取指令，以讀取第一地址上的操作結(jié)果到第一處理單元。由此，能夠在近存儲器處理單元靈活處理數(shù)據(jù)并高效地讀取操作結(jié)果回第一處理單元。

技術(shù)領(lǐng)域

本公開的實(shí)施例總體涉及計(jì)算機(jī)領(lǐng)域，具體涉及計(jì)算裝置、用于加載數(shù)據(jù)的方法以及用于更新數(shù)據(jù)的方法。

背景技術(shù)

嵌入表數(shù)據(jù)讀取已經(jīng)在很多計(jì)算機(jī)應(yīng)用中得到了廣泛應(yīng)用，尤其是在諸如個(gè)性化推薦模型的人工智能應(yīng)用中。對于深度學(xué)習(xí)推薦模型(DLRM)來說，通過SparseLengthsSum(SLS)表示的稀疏嵌入操作由以下兩個(gè)動作組成：首先在巨大的嵌入表中進(jìn)行小量的稀疏查找，接著對嵌入表項(xiàng)進(jìn)行縮減，例如池化(pooling)。

傳統(tǒng)方案通過近存儲器數(shù)據(jù)處理(Near Memory Processing，NMP)來實(shí)現(xiàn)稀疏嵌入操作。參照圖1，其示出了根據(jù)現(xiàn)有技術(shù)的用于近存儲器數(shù)據(jù)處理的架構(gòu)100的示意框圖。如圖1所示，架構(gòu)100包括向量處理單元110、片上網(wǎng)絡(luò)(Network On Chip，NOC)120、近存儲器處理單元130以及中央處理單元(CPU)的主存儲器140，其中向量處理單元110經(jīng)由片上網(wǎng)絡(luò)120與近存儲器處理單元130和主存儲器140連接，近存儲器處理單元130與主存儲器140耦接。主存儲器140中存儲有多個(gè)嵌入表1-n。向量處理單元110對主存儲器140上的多個(gè)嵌入表1-n發(fā)起稀疏嵌入操作。近存儲器處理單元130對多個(gè)嵌入表1-n執(zhí)行稀疏嵌入操作，從而提升嵌入表數(shù)據(jù)查找操作的效率。

但是，如何通過片上網(wǎng)絡(luò)將讀取數(shù)據(jù)高效地從主存儲器140傳輸?shù)较蛄刻幚韱卧?10是個(gè)挑戰(zhàn)。此外在讀取表項(xiàng)到向量處理單元110使得權(quán)重梯度能夠添加到這些表項(xiàng)仍然開銷巨大，同時(shí)通過片上網(wǎng)絡(luò)傳輸寫入數(shù)據(jù)也仍然面臨挑戰(zhàn)。

發(fā)明內(nèi)容

提供了一種計(jì)算裝置和用于加載數(shù)據(jù)的方法，能夠在近存儲器處理單元靈活處理數(shù)據(jù)并高效地讀取操作結(jié)果回第一處理單元。此外，還提供了另一種計(jì)算裝置以及用于更新數(shù)據(jù)的方法，能夠在近存儲器處理單元靈活處理數(shù)據(jù)并減少數(shù)據(jù)更新過程的數(shù)據(jù)移動開銷。

根據(jù)本公開的第一方面，提供了一種計(jì)算裝置。該計(jì)算裝置包括：第一處理單元；第一存儲器，與第一處理單元經(jīng)由片上網(wǎng)絡(luò)相連；近存儲器處理單元，與第一存儲器耦接；第一處理單元被配置為經(jīng)由片上網(wǎng)絡(luò)向近存儲器處理單元發(fā)送第一指令，第一指令包括第一地址、多個(gè)第二地址和操作類型，第一地址和多個(gè)第二地址與第一存儲器相關(guān)聯(lián)；近存儲器處理單元被配置為響應(yīng)于第一指令，對第一存儲器的多個(gè)第二地址上的多個(gè)數(shù)據(jù)項(xiàng)執(zhí)行與操作類型相關(guān)聯(lián)的操作，以生成操作結(jié)果；以及近存儲器處理單元還被配置為將操作結(jié)果存儲到第一存儲器的第一地址；第一處理單元還被配置為發(fā)出清空指令，用于使得第一地址上的操作結(jié)果對于第一處理單元可見；以及第一處理單元還被配置為發(fā)出用于從第一地址讀取數(shù)據(jù)的讀取指令，以讀取第一地址上的操作結(jié)果到第一處理單元。

根據(jù)本公開的第二方面，提供了一種用于加載數(shù)據(jù)的方法。該方法包括：第一處理單元經(jīng)由片上網(wǎng)絡(luò)向近存儲器處理單元發(fā)送第一指令，第一指令包括第一地址、多個(gè)第二地址和操作類型，第一地址和多個(gè)第二地址與第一存儲器相關(guān)聯(lián)；近存儲器處理單元響應(yīng)于第一指令，對第一存儲器的多個(gè)第二地址上的多個(gè)數(shù)據(jù)項(xiàng)執(zhí)行與操作類型相關(guān)聯(lián)的操作，以生成操作結(jié)果；近存儲器處理單元將操作結(jié)果存儲到第一存儲器的第一地址；第一處理單元發(fā)出清空指令，以用于使得第一地址上的操作結(jié)果對于第一處理單元可見；以及第一處理單元發(fā)出讀取指令，以用于讀取第一地址上的操作結(jié)果到第一處理單元。