[發(fā)明專利]一種人工智能加速引擎和人工智能處理器

有效

• 申請?zhí)枺?/td>: 202011018763.0
• 申請日: 2020-09-24
• 公開（公告）號: CN112232517B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計）人: 賈兆榮;景璐;楊繼林
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F7/544;G06F17/16
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 張騰;張元

本發(fā)明提供了一種人工智能加速引擎和人工智能處理器，人工智能加速引擎包括：緩存模塊，緩存模塊配置為緩存加速引擎的當(dāng)前任務(wù)的指令和配置數(shù)據(jù)；譯碼模塊，譯碼模塊配置為從緩存模塊獲取指令并將指令進行解碼；數(shù)據(jù)處理模塊，數(shù)據(jù)處理模塊包括多維乘加計算單元、標(biāo)量計算單元和向量計算單元，數(shù)據(jù)處理模塊接收譯碼模塊解碼后的指令并基于解碼后的指令將數(shù)據(jù)發(fā)送的相應(yīng)的單元中進行數(shù)據(jù)處理；存儲模塊，存儲模塊配置為存儲加速引擎進行數(shù)據(jù)處理所需的數(shù)據(jù)以及數(shù)據(jù)處理模塊處理后的數(shù)據(jù)。通過使用本發(fā)明的方案，能夠為計算單元提供了高帶寬數(shù)據(jù)訪問，滿足了深度學(xué)習(xí)的高密度并行計算需求，減少了數(shù)據(jù)不足產(chǎn)生的計算阻塞，提高了計算效率。

技術(shù)領(lǐng)域

本領(lǐng)域涉及計算機領(lǐng)域，并且更具體地涉及一種人工智能加速引擎和人工智能處理器。

背景技術(shù)

21世紀(jì)前兩個十年，在大規(guī)模GPU服務(wù)器并行計算、大數(shù)據(jù)、深度學(xué)習(xí)算法和類腦芯片等技術(shù)的推動下，人類社會相繼進入互聯(lián)網(wǎng)時代、大數(shù)據(jù)時代和人工智能時代。

人工智能即賦予機器人的智能，使機器替代人類完成某些工作，主要通過對人類的意識、思維及信息處理進行研究總結(jié)，實現(xiàn)核心算法使機器具備思考、分析、識別、判斷，等類似人類的能力。

人工智能的發(fā)展對國民經(jīng)濟具有重要意義，人工智能通過綜合各生產(chǎn)要素作用于國民經(jīng)濟活動，有利于提高生產(chǎn)力水平，助力實體經(jīng)濟發(fā)展，主要表現(xiàn)在以下四個方面：一是人工智能可以依托大數(shù)據(jù)，對龐大的信息資源進行處理，分析得到有效數(shù)據(jù)，避免了錯誤的經(jīng)濟決策，推進經(jīng)濟持續(xù)穩(wěn)定的發(fā)展。二是人工智能可以通過智能化的精準(zhǔn)控制來達(dá)到減少資源浪費、提高生產(chǎn)水平和生產(chǎn)效率的目的。三是人工智能可以賦能于商業(yè)生態(tài)，以電能為動力源的人工智能可以做到減少碳排放，達(dá)到節(jié)能環(huán)保的效果。四是在人工智能的驅(qū)動下，產(chǎn)業(yè)經(jīng)濟與信息經(jīng)濟相互整合，改變了傳統(tǒng)的“需求-設(shè)計-制造-銷售-服務(wù)”的生產(chǎn)模式。由于互聯(lián)網(wǎng)等信息技術(shù)的應(yīng)用，使得不同產(chǎn)業(yè)間的關(guān)聯(lián)關(guān)系不斷改變，新的產(chǎn)業(yè)不斷涌現(xiàn)，跨界和融合發(fā)展成為產(chǎn)業(yè)生態(tài)的重要特征，提高了經(jīng)濟增長的質(zhì)量，推動了經(jīng)濟整體結(jié)構(gòu)的調(diào)整。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例的目的在于提出一種人工智能加速引擎和人工智能處理器，通過使用本發(fā)明的方案，能夠為計算單元提供了高帶寬數(shù)據(jù)訪問，滿足了深度學(xué)習(xí)的高密度并行計算需求，減少了數(shù)據(jù)不足產(chǎn)生的計算阻塞，提高了計算效率。

基于上述目的，本發(fā)明的實施例的一個方面提供了一種人工智能加速引擎，包括：

緩存模塊，緩存模塊配置為緩存加速引擎的當(dāng)前任務(wù)的指令和配置數(shù)據(jù)；

譯碼模塊，譯碼模塊配置為從緩存模塊獲取指令并將指令進行解碼；

數(shù)據(jù)處理模塊，數(shù)據(jù)處理模塊包括多維乘加計算單元、標(biāo)量計算單元和向量計算單元，數(shù)據(jù)處理模塊接收譯碼模塊解碼后的指令并基于解碼后的指令將數(shù)據(jù)發(fā)送到多維乘加計算單元、標(biāo)量計算單元和向量計算單元中的一個或多個進行數(shù)據(jù)處理；

存儲模塊，存儲模塊配置為存儲加速引擎進行數(shù)據(jù)處理所需的數(shù)據(jù)以及數(shù)據(jù)處理模塊處理后的數(shù)據(jù)。

根據(jù)本發(fā)明的一個實施例，多維乘加計算單元包括二維乘加計算單元和三維乘加計算單元。

根據(jù)本發(fā)明的一個實施例，二維乘加計算單元包括：

數(shù)據(jù)向量緩存區(qū)，數(shù)據(jù)向量緩存區(qū)配置為每個時鐘周期存儲一組待處理的數(shù)據(jù)向量；

模型參數(shù)向量緩存區(qū)，模型參數(shù)向量緩存區(qū)配置為緩存處理數(shù)據(jù)向量需要的模型參數(shù)；

乘加計算單元陣列，乘加計算單元陣列由多行乘加計算單元組成，每個乘加計算單元都有一個模型參數(shù)向量緩存區(qū)；

累加器，累加器配置為將乘加計算單元陣列處理后的數(shù)據(jù)進行累加以得到最終結(jié)果。

根據(jù)本發(fā)明的一個實施例，三維乘加計算單元由多個二維乘加計算單元并行排列組成。