[發(fā)明專利]人工智能加速器

在審

• 申請(qǐng)?zhí)枺?/td>: 202210219480.5
• 申請(qǐng)日: 2022-03-08
• 公開（公告）號(hào): CN115374917A
• 公開（公告）日: 2022-11-22
• 發(fā)明（設(shè)計(jì)）人: 李性柱
• 申請(qǐng)（專利權(quán)）人: 愛思開海力士有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06F7/501;G06F7/523
• 代理公司: 北京弘權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11363
• 代理人: 許偉群;李少丹

本申請(qǐng)公開了人工智能加速器。該人工智能AI加速器包括：存儲(chǔ)電路，其輸出權(quán)重?cái)?shù)據(jù)和向量數(shù)據(jù)；乘法電路/加法器樹，其對(duì)所述權(quán)重?cái)?shù)據(jù)和所述向量數(shù)據(jù)執(zhí)行乘法/加法計(jì)算，以產(chǎn)生并輸出乘法/加法結(jié)果數(shù)據(jù)；左累加器，其同步于奇數(shù)時(shí)鐘信號(hào)來(lái)對(duì)所述乘法/加法結(jié)果數(shù)據(jù)的奇數(shù)編號(hào)的乘法/加法結(jié)果數(shù)據(jù)和左鎖存數(shù)據(jù)執(zhí)行累計(jì)相加計(jì)算；以及右累加器，其同步于偶數(shù)時(shí)鐘信號(hào)來(lái)對(duì)所述乘法/加法結(jié)果數(shù)據(jù)的偶數(shù)編號(hào)的乘法/加法結(jié)果數(shù)據(jù)和右鎖存數(shù)據(jù)執(zhí)行累計(jì)相加計(jì)算。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求于2021年5月18日提交的申請(qǐng)?zhí)枮?0-2021-0064088的韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)，其全部?jī)?nèi)容通過(guò)引用合并于此。

技術(shù)領(lǐng)域

本教導(dǎo)的各個(gè)實(shí)施例涉及人工智能加速器，并且更具體地涉及執(zhí)行累加計(jì)算的人工智能加速器。

背景技術(shù)

最近，對(duì)人工智能(AI)的關(guān)注度不僅在信息技術(shù)行業(yè)中一直增加，而且在金融和醫(yī)療行業(yè)中也一直增加。因此，在各個(gè)領(lǐng)域中都會(huì)考慮人工智能(更準(zhǔn)確地說(shuō)是深度學(xué)習(xí)的引入)并將其原型化。一般而言，與一般神經(jīng)網(wǎng)絡(luò)相比，用于有效學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)(DNN)或具有增加的層數(shù)的深度網(wǎng)絡(luò)以在模式識(shí)別或推理中利用深度神經(jīng)網(wǎng)絡(luò)(DNN)或深度網(wǎng)絡(luò)的技術(shù)通常被稱為深度學(xué)習(xí)。

這種廣泛關(guān)注的原因之一可能是由于執(zhí)行算術(shù)運(yùn)算的處理器的提高的性能。為了提高人工智能的性能，可能需要增加人工智能中構(gòu)成神經(jīng)網(wǎng)絡(luò)的層數(shù)來(lái)訓(xùn)練人工智能。近年來(lái)，這種趨勢(shì)一直在持續(xù)，導(dǎo)致了實(shí)際執(zhí)行計(jì)算的硬件所需的計(jì)算量呈指數(shù)增長(zhǎng)。此外，如果人工智能采用具有彼此分離的存儲(chǔ)器和處理器的通用硬件系統(tǒng)，則由于存儲(chǔ)器和處理器之間的數(shù)據(jù)通信量的限制，人工智能的性能可能會(huì)退化。為了解決這個(gè)問(wèn)題，包括集成在一個(gè)半導(dǎo)體芯片中的處理器和存儲(chǔ)器的存內(nèi)計(jì)算(processing-in-memory，PIM)設(shè)備已被用作人工智能加速器。由于PIM設(shè)備通過(guò)將存儲(chǔ)在PIM設(shè)備的存儲(chǔ)器中的數(shù)據(jù)用作輸入數(shù)據(jù)來(lái)直接在PIM設(shè)備中執(zhí)行算術(shù)運(yùn)算，所以可以提高神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)處理速度。

發(fā)明內(nèi)容

根據(jù)實(shí)施例，一種人工智能加速器包括存儲(chǔ)電路、乘法電路/加法器樹、左累加器和右累加器。存儲(chǔ)電路輸出權(quán)重?cái)?shù)據(jù)和向量數(shù)據(jù)。乘法電路/加法器樹對(duì)權(quán)重?cái)?shù)據(jù)和向量數(shù)據(jù)執(zhí)行乘法/加法計(jì)算以產(chǎn)生乘法/加法結(jié)果數(shù)據(jù)。左累加器同步于奇數(shù)時(shí)鐘信號(hào)來(lái)對(duì)乘法/加法結(jié)果數(shù)據(jù)的奇數(shù)編號(hào)的乘法/加法結(jié)果數(shù)據(jù)和左鎖存數(shù)據(jù)執(zhí)行累計(jì)相加計(jì)算。右累加器同步于偶數(shù)時(shí)鐘信號(hào)來(lái)對(duì)乘法/加法結(jié)果數(shù)據(jù)的偶數(shù)編號(hào)的乘法/加法結(jié)果數(shù)據(jù)和右鎖存數(shù)據(jù)執(zhí)行累計(jì)相加計(jì)算。

根據(jù)另一實(shí)施例，一種人工智能加速器包括存儲(chǔ)電路、左乘法/加法電路、右乘法/加法電路、附加加法器、左累加器和右累加器。存儲(chǔ)電路輸出權(quán)重?cái)?shù)據(jù)和向量數(shù)據(jù)。左乘法/加法電路對(duì)權(quán)重?cái)?shù)據(jù)的左權(quán)重?cái)?shù)據(jù)和向量數(shù)據(jù)的左向量數(shù)據(jù)執(zhí)行乘法/加法計(jì)算，以產(chǎn)生左乘法/加法結(jié)果數(shù)據(jù)。右乘法/加法電路對(duì)權(quán)重?cái)?shù)據(jù)的右權(quán)重?cái)?shù)據(jù)和向量數(shù)據(jù)的右向量數(shù)據(jù)執(zhí)行乘法/加法計(jì)算，以產(chǎn)生右乘法/加法結(jié)果數(shù)據(jù)。附加加法器將左乘法/加法結(jié)果數(shù)據(jù)與右乘法/加法結(jié)果數(shù)據(jù)相加，以產(chǎn)生乘法/加法結(jié)果數(shù)據(jù)。左累加器同步于奇數(shù)時(shí)鐘信號(hào)來(lái)對(duì)乘法/加法結(jié)果數(shù)據(jù)的奇數(shù)編號(hào)的乘法/加法結(jié)果數(shù)據(jù)和左鎖存數(shù)據(jù)執(zhí)行累計(jì)相加計(jì)算。右累加器同步于偶數(shù)時(shí)鐘信號(hào)來(lái)對(duì)乘法/加法結(jié)果數(shù)據(jù)的偶數(shù)編號(hào)的乘法/加法結(jié)果數(shù)據(jù)和右鎖存數(shù)據(jù)執(zhí)行累計(jì)相加計(jì)算。

根據(jù)又一實(shí)施例，一種人工智能加速器包括多個(gè)存儲(chǔ)體、第一全局緩沖器、第二全局緩沖器和多個(gè)乘法/累加(MAC)運(yùn)算器。多個(gè)存儲(chǔ)體輸出權(quán)重?cái)?shù)據(jù)。多個(gè)存儲(chǔ)體中的每一個(gè)包括分開設(shè)置的左存儲(chǔ)體和右存儲(chǔ)體。第一全局緩沖器和第二全局緩沖器輸出向量數(shù)據(jù)。多個(gè)MAC運(yùn)算器分別分配給多個(gè)存儲(chǔ)體。多個(gè)MAC運(yùn)算器中的每一個(gè)都包括乘法電路/加法器樹、左累加器和右累加器。乘法電路/加法器樹對(duì)權(quán)重?cái)?shù)據(jù)和向量數(shù)據(jù)執(zhí)行乘法/加法計(jì)算以產(chǎn)生乘法/加法結(jié)果數(shù)據(jù)。左累加器同步于奇數(shù)時(shí)鐘信號(hào)來(lái)對(duì)乘法/加法結(jié)果數(shù)據(jù)的奇數(shù)編號(hào)的乘法/加法結(jié)果數(shù)據(jù)和左鎖存數(shù)據(jù)執(zhí)行累計(jì)相加計(jì)算。右累加器同步于偶數(shù)時(shí)鐘信號(hào)來(lái)對(duì)乘法/加法結(jié)果數(shù)據(jù)的偶數(shù)編號(hào)的乘法/加法結(jié)果數(shù)據(jù)和右鎖存數(shù)據(jù)執(zhí)行累計(jì)相加計(jì)算。