[發(fā)明專利]優(yōu)化神經(jīng)網(wǎng)絡(luò)模型中原始維度算子的裝置和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011449721.2
• 申請(qǐng)日: 2020-12-09
• 公開（公告）號(hào): CN112465122A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 安徽寒武紀(jì)信息科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063;G06N5/04
• 代理公司: 北京維昊知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11804
• 代理人: 李波;孫新國(guó)

本發(fā)明涉及優(yōu)化神經(jīng)網(wǎng)絡(luò)模型中原始維度算子的裝置和方法，遍歷神經(jīng)網(wǎng)絡(luò)模型，以識(shí)別神經(jīng)網(wǎng)絡(luò)模型的關(guān)鍵節(jié)點(diǎn)，在關(guān)鍵節(jié)點(diǎn)處置入成對(duì)維度算子，結(jié)合成對(duì)維度算子其中之一與原始維度算子，最后基于結(jié)合后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理。本發(fā)明從關(guān)鍵節(jié)點(diǎn)出發(fā)減少神經(jīng)網(wǎng)絡(luò)中維度算子的數(shù)量，以提升網(wǎng)絡(luò)的運(yùn)行時(shí)間和減少硬件資源的消耗。

技術(shù)領(lǐng)域

本發(fā)明一般地涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域。更具體地，本發(fā)明涉及優(yōu)化神經(jīng)網(wǎng)絡(luò)模型中原始維度算子的裝置和方法。

背景技術(shù)

在深度神經(jīng)網(wǎng)絡(luò)的領(lǐng)域中，轉(zhuǎn)置算子(transpose)和變形算子(reshape)被廣泛的應(yīng)用在數(shù)據(jù)重組和適應(yīng)底層軟件棧數(shù)據(jù)擺放格式。

以在GPU上計(jì)算為例，具有NCHW格式的特征圖較具有NHWC格式的特征圖更快。為了獲得更好的性能，當(dāng)數(shù)據(jù)擺放是NHWC時(shí)，通常會(huì)在對(duì)維度排列敏感的算子前置入轉(zhuǎn)置算子，將維度排列轉(zhuǎn)換為NCHW，如果再遇到與通道運(yùn)算相關(guān)的算子時(shí)，又需要將數(shù)據(jù)擺放還原再進(jìn)行運(yùn)算，顯然由于每個(gè)算子適合的維度擺放方式不同，導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型中頻繁置入轉(zhuǎn)置算子以進(jìn)行格式轉(zhuǎn)換。

在處理圖像數(shù)據(jù)的時(shí)候，經(jīng)常遇到輸入圖像的維數(shù)與算子的輸入維度不符合的情況，這時(shí)需要變形算子來(lái)調(diào)整輸入圖像的維度數(shù)量。由于每個(gè)算子可接受的維度數(shù)量不一定相同，導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型中頻繁置入變形算子以調(diào)整維度數(shù)量。

當(dāng)神經(jīng)網(wǎng)絡(luò)模型中存在許多轉(zhuǎn)置和變形算子時(shí)，會(huì)使得網(wǎng)絡(luò)運(yùn)行時(shí)間過(guò)長(zhǎng)。現(xiàn)有的優(yōu)化方案只企圖優(yōu)化特定算子前后的轉(zhuǎn)置和變形算子，無(wú)法改善位于分支節(jié)點(diǎn)、合并節(jié)點(diǎn)以及輸入/輸出端的轉(zhuǎn)置和變形算子。

因此，一種優(yōu)化維度算子的方案是迫切需要的。

發(fā)明內(nèi)容

為了至少部分地解決背景技術(shù)中提到的技術(shù)問(wèn)題，本發(fā)明的方案提供了一種優(yōu)化神經(jīng)網(wǎng)絡(luò)模型中原始維度算子的裝置和方法。

在一個(gè)方面中，本發(fā)明揭露一種優(yōu)化神經(jīng)網(wǎng)絡(luò)模型中原始維度算子的方法，包括遍歷所述神經(jīng)網(wǎng)絡(luò)模型，以：識(shí)別所述神經(jīng)網(wǎng)絡(luò)模型的關(guān)鍵節(jié)點(diǎn)；在所述關(guān)鍵節(jié)點(diǎn)處置入成對(duì)維度算子；結(jié)合所述成對(duì)維度算子其中之一與所述原始維度算子；以及基于結(jié)合后的所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理。

在另一個(gè)方面，本發(fā)明揭露一種優(yōu)化神經(jīng)網(wǎng)絡(luò)模型中原始維度算子的處理裝置，包括識(shí)別模塊、置入模塊及結(jié)合模塊。識(shí)別模塊用以識(shí)別所述神經(jīng)網(wǎng)絡(luò)模型的關(guān)鍵節(jié)點(diǎn)；置入模塊用以在所述關(guān)鍵節(jié)點(diǎn)處置入成對(duì)維度算子；結(jié)合模塊用以結(jié)合所述成對(duì)維度算子其中之一與所述原始維度算子。

本發(fā)明試著從關(guān)鍵節(jié)點(diǎn)減少神經(jīng)網(wǎng)絡(luò)中維度算子的數(shù)量，并基于結(jié)合后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理，以提升網(wǎng)絡(luò)的運(yùn)行時(shí)間和減少硬件資源的消耗。

附圖說(shuō)明

通過(guò)參考附圖閱讀下文的詳細(xì)描述，本發(fā)明示例性實(shí)施方式的上述以及其他目的、特征和優(yōu)點(diǎn)將變得易于理解。在附圖中，以示例性而非限制性的方式示出了本發(fā)明的若干實(shí)施方式，并且相同或?qū)?yīng)的標(biāo)號(hào)表示相同或?qū)?yīng)的部分其中：

圖1A是示出示例性的三維數(shù)組；

圖1B是示出轉(zhuǎn)換后的三維數(shù)組；

圖2是示出變形后的三維矩陣的示意圖；

圖3是示出本發(fā)明實(shí)施例的處理裝置的示意圖；

圖4是示出本發(fā)明實(shí)施例的待優(yōu)化的神經(jīng)網(wǎng)絡(luò)模型的示意圖；

圖5是示出本發(fā)明另一實(shí)施例的待優(yōu)化的神經(jīng)網(wǎng)絡(luò)模型的示意圖；

圖6是示出本發(fā)明另一實(shí)施例的待優(yōu)化的神經(jīng)網(wǎng)絡(luò)模型的示意圖；

圖7是示出本發(fā)明另一實(shí)施例的待優(yōu)化的神經(jīng)網(wǎng)絡(luò)模型的示意圖；以及

圖8是示出本發(fā)明另一實(shí)施例優(yōu)化神經(jīng)網(wǎng)絡(luò)模型中原始維度算子的流程圖。

具體實(shí)施方式