[發(fā)明專利]多精度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110753398.6
• 申請(qǐng)日: 2021-07-02
• 公開（公告）號(hào): CN113469349B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 鮑丹;季圣潔;沈沙
• 申請(qǐng)（專利權(quán)）人: 上海酷芯微電子有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063
• 代理公司: 上海段和段律師事務(wù)所 31334
• 代理人: 黃磊;郭國(guó)中

本發(fā)明提供了一種多精度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)方法及系統(tǒng)，包括：獲取硬件加速器的算子約束條件，生成多精度神經(jīng)網(wǎng)絡(luò)模型的計(jì)算圖算子配置信息；對(duì)多精度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行結(jié)構(gòu)分析，結(jié)合計(jì)算圖算子配置信息得到不同數(shù)值精度與計(jì)算圖算子的對(duì)應(yīng)關(guān)系；根據(jù)不同數(shù)值精度與計(jì)算圖算子的對(duì)應(yīng)關(guān)系，對(duì)多精度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行調(diào)整，獲取多精度神經(jīng)網(wǎng)絡(luò)模型在降低數(shù)值精度后的性能補(bǔ)償；根據(jù)參數(shù)調(diào)整后的多精度神經(jīng)網(wǎng)絡(luò)模型，產(chǎn)生各層次配置信息，根據(jù)各層次配置信息將多精度神經(jīng)網(wǎng)絡(luò)模型部署到硬件加速器。本發(fā)明在將復(fù)雜神經(jīng)網(wǎng)絡(luò)部署到特定硬件加速器時(shí)，保證算子采用不同的數(shù)值精度組合，以獲得優(yōu)化的功耗、效率和存儲(chǔ)帶寬，降低模型部署難度。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體地，涉及一種多精度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)方法及系統(tǒng)。

背景技術(shù)

由于復(fù)雜任務(wù)的神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度高，在特定硬件加速器上需要進(jìn)行多精度的數(shù)值表示方法，以獲得優(yōu)化的功耗和效率，這一需求為模型部署增加了難度。

現(xiàn)有技術(shù)中，公開號(hào)為CN110942139A的中國(guó)專利申請(qǐng)，公開了“深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)部署系統(tǒng)及其方法”，這種部署方法，雖然能夠支持多種神經(jīng)網(wǎng)絡(luò)框架識(shí)別、解析、和部署模型的生成，但是不能支持多種精度模型在特定硬件加速器上的實(shí)現(xiàn)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種多精度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)方法及系統(tǒng)。

根據(jù)本發(fā)明提供的一種多精度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)方法，包括：

生成步驟：獲取硬件加速器的算子約束條件，生成多精度神經(jīng)網(wǎng)絡(luò)模型的計(jì)算圖算子配置信息；

對(duì)應(yīng)關(guān)系確認(rèn)步驟：對(duì)多精度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行結(jié)構(gòu)分析，結(jié)合所述計(jì)算圖算子配置信息得到不同數(shù)值精度與計(jì)算圖算子的對(duì)應(yīng)關(guān)系；

調(diào)整步驟：根據(jù)不同數(shù)值精度與計(jì)算圖算子的對(duì)應(yīng)關(guān)系，對(duì)多精度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行調(diào)整，獲取多精度神經(jīng)網(wǎng)絡(luò)模型在降低數(shù)值精度后的性能補(bǔ)償；

配置生成步驟：根據(jù)參數(shù)調(diào)整后的多精度神經(jīng)網(wǎng)絡(luò)模型，產(chǎn)生各層次配置信息，根據(jù)各層次配置信息將多精度神經(jīng)網(wǎng)絡(luò)模型部署到所述硬件加速器。

優(yōu)選地，所述生成步驟包括：

根據(jù)所述硬件加速器的算子數(shù)值精度約束條件，生成多精度神經(jīng)網(wǎng)絡(luò)模型計(jì)算圖算子配置信息。

優(yōu)選地，所述對(duì)應(yīng)關(guān)系確認(rèn)步驟包括：

對(duì)多精度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行結(jié)構(gòu)分析，生成多精度神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)信息；

根據(jù)所述計(jì)算圖算子配置信息和所述結(jié)構(gòu)信息，生成計(jì)算圖算子與數(shù)值精度的對(duì)應(yīng)關(guān)系。

優(yōu)選地，對(duì)多精度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行調(diào)整的方法包括：重新訓(xùn)練方式或統(tǒng)計(jì)分析方式；

對(duì)于重新訓(xùn)練方式，根據(jù)計(jì)算圖算子與算子數(shù)值精度對(duì)應(yīng)關(guān)系增加訓(xùn)練節(jié)點(diǎn)到計(jì)算圖中，所述計(jì)算圖包括框架構(gòu)建，所述訓(xùn)練節(jié)點(diǎn)包括采用算子構(gòu)建；

對(duì)于統(tǒng)計(jì)分析方式，根據(jù)計(jì)算圖算子與算子數(shù)值精度對(duì)應(yīng)關(guān)系增加統(tǒng)計(jì)節(jié)點(diǎn)到計(jì)算圖中，所述統(tǒng)計(jì)節(jié)點(diǎn)包括采用統(tǒng)計(jì)量構(gòu)建；或者，不增加統(tǒng)計(jì)節(jié)點(diǎn)到計(jì)算圖中，直接采用獨(dú)立于計(jì)算圖的分析。

優(yōu)選地，所述配置生成步驟包括：

對(duì)調(diào)整好模型參數(shù)的多精度神經(jīng)網(wǎng)絡(luò)模型，格式化生成各層次的配置信息，所述配置信息格式來自于所述硬件加速器的需求。

根據(jù)本發(fā)明提供的一種多精度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)系統(tǒng)，包括：

生成模塊：獲取硬件加速器的算子約束條件，生成多精度神經(jīng)網(wǎng)絡(luò)模型的計(jì)算圖算子配置信息；

對(duì)應(yīng)關(guān)系確認(rèn)模塊：對(duì)多精度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行結(jié)構(gòu)分析，結(jié)合所述計(jì)算圖算子配置信息得到不同數(shù)值精度與計(jì)算圖算子的對(duì)應(yīng)關(guān)系；