[發(fā)明專利]集成電路芯片裝置及相關(guān)產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 201810164844.8
• 申請(qǐng)日: 2018-02-27
• 公開（公告）號(hào): CN110197275B
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 上海寒武紀(jì)信息科技有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本披露提供一種集成電路芯片裝置及相關(guān)產(chǎn)品，所述裝置用于執(zhí)行的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，該神經(jīng)網(wǎng)絡(luò)包含n層，所述n取值范圍為大于等于2的整數(shù)，所述集成電路芯片裝置包括：主處理電路以及多個(gè)基礎(chǔ)處理電路；所述主處理電路包括第一映射電路，所述多個(gè)基礎(chǔ)處理電路中至少一個(gè)電路包括第二映射電路，所述第一映射電路以及所述第二映射電路均用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算中的各個(gè)數(shù)據(jù)的壓縮處理；所述多個(gè)基礎(chǔ)處理電路呈陣列分布；每個(gè)基礎(chǔ)處理電路與相鄰的其他基礎(chǔ)處理電路連接，所述主處理電路連接第1行的n個(gè)基礎(chǔ)處理電路、第m行的n個(gè)基礎(chǔ)處理電路以及第1列的m個(gè)基礎(chǔ)處理電路。本披露提供的技術(shù)方案具有計(jì)算量小，功耗低的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本披露涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，尤其涉及一種集成電路芯片裝置及相關(guān)產(chǎn)品。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，即ANN)，是20世紀(jì)80年代以來(lái)人工智能領(lǐng)域興起的研究熱點(diǎn)。它從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立某種簡(jiǎn)單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。在工程與學(xué)術(shù)界也常直接簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)的運(yùn)算基于CPU(Central Processing Unit，中央處理器)或GPU(英文：Graphics Processing Unit，圖形處理器)來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的正向運(yùn)算，此種正向運(yùn)算的計(jì)算量大，功耗高。

發(fā)明內(nèi)容

本披露實(shí)施例提供了一種集成電路芯片裝置及相關(guān)產(chǎn)品，可提升計(jì)算裝置的處理速度，提高效率。

第一方面，提供一種執(zhí)行的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集成電路芯片裝置，所述裝置用于執(zhí)行的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，該神經(jīng)網(wǎng)絡(luò)包含n層，所述n取值范圍為大于等于2的整數(shù)，所述集成電路芯片裝置包括：主處理電路以及多個(gè)基礎(chǔ)處理電路；所述主處理電路包括第一映射電路，所述多個(gè)基礎(chǔ)處理電路中至少一個(gè)電路(即部分或全部基礎(chǔ)處理電路)包括第二映射電路，所述第一映射電路以及所述第二映射電路均用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算中的各個(gè)數(shù)據(jù)的壓縮處理；

所述多個(gè)基礎(chǔ)處理電路呈陣列分布；每個(gè)基礎(chǔ)處理電路與相鄰的其他基礎(chǔ)處理電路連接，所述主處理電路連接第1行的n個(gè)基礎(chǔ)處理電路、第m行的n個(gè)基礎(chǔ)處理電路以及第1列的m個(gè)基礎(chǔ)處理電路；

所述集成電路芯片裝置，用于接收訓(xùn)練指令，依據(jù)該訓(xùn)練指令確定第一層輸入數(shù)據(jù)和第一層權(quán)值組數(shù)據(jù)，對(duì)第一層輸入數(shù)據(jù)和第一層權(quán)值組數(shù)據(jù)執(zhí)行神經(jīng)網(wǎng)絡(luò)的n層正向運(yùn)算得到正向運(yùn)算的第n輸出結(jié)果；

所述主處理電路，還用于依據(jù)所述第n輸出結(jié)果得到第n輸出結(jié)果梯度，依據(jù)所述訓(xùn)練指令獲取第n層反向運(yùn)算的第n反向運(yùn)算指令以及所述第n反向運(yùn)算指令所需的第n層輸入數(shù)據(jù)以及第n層權(quán)值組數(shù)據(jù)；依據(jù)所述第n反向運(yùn)算指令將所述第n輸出結(jié)果梯度、第n層輸入數(shù)據(jù)以及第n層權(quán)值組數(shù)據(jù)劃分為豎向數(shù)據(jù)塊和橫向數(shù)據(jù)塊；依據(jù)所述第n反向運(yùn)算指令的運(yùn)算控制確定啟動(dòng)第一映射電路對(duì)第一數(shù)據(jù)塊進(jìn)行處理，得到處理后的第一數(shù)據(jù)塊；所述第一數(shù)據(jù)塊包括所述橫向數(shù)據(jù)塊和/或所述豎向數(shù)據(jù)塊；依據(jù)所述第n反向運(yùn)算指令將處理后的第一數(shù)據(jù)塊發(fā)送至與所述主處理電路相連的基礎(chǔ)處理電路中的至少一個(gè)基礎(chǔ)處理電路；

所述多個(gè)基礎(chǔ)處理電路，用于依據(jù)所述第n反向運(yùn)算指令的運(yùn)算控制確定是否啟動(dòng)第二映射電路對(duì)第二數(shù)據(jù)塊進(jìn)行處理，依據(jù)處理后的第二數(shù)據(jù)塊以并行方式執(zhí)行神經(jīng)網(wǎng)絡(luò)中的運(yùn)算得到運(yùn)算結(jié)果，并將該運(yùn)算結(jié)果通過(guò)與所述主處理電路連接的基礎(chǔ)處理電路傳輸給所述主處理電路；所述第二數(shù)據(jù)塊為所述基礎(chǔ)處理電路確定的接收所述主處理電路發(fā)送的數(shù)據(jù)塊，所述第二數(shù)據(jù)塊與所述處理后的第一數(shù)據(jù)塊關(guān)聯(lián)；

所述主處理電路，還用于對(duì)該運(yùn)算結(jié)果進(jìn)行處理得到第n層權(quán)值組梯度和第n層輸入數(shù)據(jù)梯度，應(yīng)用所述第n層權(quán)值組梯度對(duì)第n層權(quán)值組數(shù)據(jù)進(jìn)行更新；