[發(fā)明專利]存內(nèi)乘加計(jì)算方法、裝置、芯片和計(jì)算設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202111040577.1
• 申請(qǐng)日: 2021-09-06
• 公開（公告）號(hào): CN113741858A
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 常亮;李葦航;司鑫;沈朝暉;陳亮;吳強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 南京后摩智能科技有限公司
• 主分類號(hào): G06F7/498
• 分類號(hào): G06F7/498;G06N3/02
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 靳濤濤

本公開實(shí)施例公開了一種存內(nèi)乘加計(jì)算方法、裝置、芯片和計(jì)算設(shè)備，其中，該方法包括：從預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)獲取目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合；生成輸入權(quán)重?cái)?shù)據(jù)對(duì)集合中的輸入權(quán)重?cái)?shù)據(jù)對(duì)分別對(duì)應(yīng)的編碼；將目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合存入預(yù)設(shè)的第一存儲(chǔ)區(qū)；基于第二存儲(chǔ)區(qū)中的每個(gè)乘積數(shù)據(jù)對(duì)應(yīng)的編碼，確定第一存儲(chǔ)區(qū)中是否存在對(duì)應(yīng)的目標(biāo)輸入權(quán)重?cái)?shù)據(jù)對(duì)，如果存在，將該乘積數(shù)據(jù)確定為目標(biāo)輸入權(quán)重?cái)?shù)據(jù)對(duì)對(duì)應(yīng)的待累加數(shù)據(jù)；對(duì)每個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合中的輸入權(quán)重?cái)?shù)據(jù)對(duì)分別對(duì)應(yīng)的待累加數(shù)據(jù)進(jìn)行累加操作，得到累加結(jié)果。本公開實(shí)施例避免了加法樹的使用，減少了資源占用量，反向搜索過程可以利用神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)的稀疏性，減少累加操作的功耗。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其是一種存內(nèi)乘加計(jì)算方法、裝置、芯片和計(jì)算設(shè)備。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)，用來模擬人腦分析和處理信息的計(jì)算系統(tǒng)。它是人工智能的基礎(chǔ)，解決了以人類或統(tǒng)計(jì)標(biāo)準(zhǔn)將被證明是不可能或很難解決的問題。人工神經(jīng)網(wǎng)絡(luò)具有自我學(xué)習(xí)能力，能夠在獲得更多數(shù)據(jù)的前提下產(chǎn)生更好的結(jié)果。神經(jīng)網(wǎng)絡(luò)技術(shù)在人臉識(shí)別，命名實(shí)體識(shí)別，語音識(shí)別，簽名驗(yàn)證，語義檢測(cè)等場(chǎng)景下都有廣泛的應(yīng)用。

對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)加速器來說，在每一個(gè)架構(gòu)環(huán)節(jié)都會(huì)消耗大量的資源，例如乘法器，加法器的功耗與時(shí)延等，同時(shí)其運(yùn)行性能也受到存儲(chǔ)與處理器之間的帶寬限制。而存內(nèi)計(jì)算一定程度上緩解了由于帶寬帶來的性能限制。

發(fā)明內(nèi)容

本公開的實(shí)施例提供了一種存內(nèi)乘加計(jì)算方法，該方法包括：從預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)獲取目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合；生成輸入權(quán)重?cái)?shù)據(jù)對(duì)集合中的輸入權(quán)重?cái)?shù)據(jù)對(duì)分別對(duì)應(yīng)的編碼；將目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合存入預(yù)設(shè)的第一存儲(chǔ)區(qū)；對(duì)于預(yù)設(shè)的用于存儲(chǔ)乘積數(shù)據(jù)的第二存儲(chǔ)區(qū)中的每個(gè)乘積數(shù)據(jù)，基于該乘積數(shù)據(jù)對(duì)應(yīng)的編碼，確定第一存儲(chǔ)區(qū)中是否存在對(duì)應(yīng)于該乘積數(shù)據(jù)的目標(biāo)輸入權(quán)重?cái)?shù)據(jù)對(duì)，如果存在，將該乘積數(shù)據(jù)確定為目標(biāo)輸入權(quán)重?cái)?shù)據(jù)對(duì)對(duì)應(yīng)的待累加數(shù)據(jù)；對(duì)于目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合中的每個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合，對(duì)該輸入權(quán)重?cái)?shù)據(jù)對(duì)集合包括的輸入權(quán)重?cái)?shù)據(jù)對(duì)分別對(duì)應(yīng)的待累加數(shù)據(jù)進(jìn)行累加操作，得到該輸入權(quán)重?cái)?shù)據(jù)對(duì)集合對(duì)應(yīng)的累加結(jié)果。

在一些實(shí)施例中，從預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)獲取目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合，包括：執(zhí)行目標(biāo)數(shù)量次如下步驟，得到目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合：基于神經(jīng)網(wǎng)絡(luò)中的權(quán)重窗口的大小和移動(dòng)步長(zhǎng)，從輸入神經(jīng)網(wǎng)絡(luò)中的輸入數(shù)據(jù)中確定權(quán)重窗口覆蓋的輸入數(shù)據(jù)和權(quán)重窗口中的權(quán)重?cái)?shù)據(jù)組成輸入權(quán)重?cái)?shù)據(jù)對(duì)集合。

在一些實(shí)施例中，生成輸入權(quán)重?cái)?shù)據(jù)對(duì)集合中的輸入權(quán)重?cái)?shù)據(jù)對(duì)分別對(duì)應(yīng)的編碼，包括：從目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合包括的輸入權(quán)重?cái)?shù)據(jù)對(duì)中，確定不包含零的輸入權(quán)重?cái)?shù)據(jù)對(duì)；生成不包含零的輸入權(quán)重?cái)?shù)據(jù)對(duì)對(duì)應(yīng)的編碼。

在一些實(shí)施例中，第二存儲(chǔ)區(qū)預(yù)先基于如下步驟設(shè)置：確定神經(jīng)網(wǎng)絡(luò)中的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)的比特位數(shù)；根據(jù)輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)的比特位數(shù)對(duì)應(yīng)的數(shù)據(jù)范圍，生成乘積數(shù)據(jù)集合，并生成乘積數(shù)據(jù)集合中的乘積數(shù)據(jù)的編碼；將乘積數(shù)據(jù)集合存入第二存儲(chǔ)區(qū)。

在一些實(shí)施例中，乘積數(shù)據(jù)集合不包括零。

在一些實(shí)施例中，將目標(biāo)數(shù)量個(gè)輸入權(quán)重?cái)?shù)據(jù)對(duì)集合存入預(yù)設(shè)的第一存儲(chǔ)區(qū)，包括：確定原始輸入數(shù)據(jù)和原始權(quán)重?cái)?shù)據(jù)的比特位數(shù)；若原始輸入數(shù)據(jù)和原始權(quán)重?cái)?shù)據(jù)的比特位數(shù)大于第一存儲(chǔ)區(qū)中的數(shù)據(jù)存儲(chǔ)單元支持的比特位數(shù)，將原始輸入數(shù)據(jù)拆分為至少兩個(gè)輸入子數(shù)據(jù)，以及將原始權(quán)重?cái)?shù)據(jù)拆分為至少兩個(gè)權(quán)重子數(shù)據(jù)；根據(jù)預(yù)設(shè)的、用于表示乘法運(yùn)算的規(guī)則，確定輸入子數(shù)據(jù)和權(quán)重子數(shù)據(jù)的對(duì)應(yīng)關(guān)系；將相對(duì)應(yīng)的輸入子數(shù)據(jù)和權(quán)重子數(shù)據(jù)作為輸入權(quán)重?cái)?shù)據(jù)對(duì)存入第一存儲(chǔ)區(qū)。

在一些實(shí)施例中，對(duì)該輸入權(quán)重?cái)?shù)據(jù)對(duì)集合包括的輸入權(quán)重?cái)?shù)據(jù)對(duì)分別對(duì)應(yīng)的待累加數(shù)據(jù)進(jìn)行累加操作，包括：從該輸入權(quán)重?cái)?shù)據(jù)對(duì)集合包括的輸入權(quán)重?cái)?shù)據(jù)對(duì)分別對(duì)應(yīng)的待累加數(shù)據(jù)中，確定對(duì)應(yīng)于同一對(duì)原始輸入數(shù)據(jù)和原始權(quán)重?cái)?shù)據(jù)的至少兩個(gè)待累加數(shù)據(jù)；基于乘法運(yùn)算的規(guī)則，對(duì)所確定的至少兩個(gè)待累加數(shù)據(jù)進(jìn)行移位累加，得到對(duì)應(yīng)于同一對(duì)原始輸入數(shù)據(jù)和原始權(quán)重?cái)?shù)據(jù)的乘積；對(duì)所得到的乘積進(jìn)行累加，得到該輸入權(quán)重?cái)?shù)據(jù)對(duì)集合對(duì)應(yīng)的累加結(jié)果。