[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)模型壓縮方法、裝置和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201811037330.2
• 申請(qǐng)日: 2018-09-05
• 公開（公告）號(hào): CN109165720A
• 公開（公告）日: 2019-01-08
• 發(fā)明（設(shè)計(jì)）人: 金玲玲;饒東升;何文瑋
• 申請(qǐng)（專利權(quán)）人: 深圳靈圖慧視科技有限公司
• 主分類號(hào): G06N3/00
• 分類號(hào): G06N3/00;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本申請(qǐng)公開了神經(jīng)網(wǎng)絡(luò)模型壓縮方法及裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀介質(zhì)，該方法包括：獲取經(jīng)訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)模型；從第一神經(jīng)網(wǎng)絡(luò)模型的各層中選取至少一層作為待壓縮層；按照預(yù)設(shè)規(guī)則對(duì)待壓縮層進(jìn)行排序；根據(jù)排序的先后順序，利用遺傳算法對(duì)待壓縮層的部分或全部執(zhí)行壓縮處理以獲得第二神經(jīng)網(wǎng)絡(luò)模型，其中，第二神經(jīng)網(wǎng)絡(luò)模型基于預(yù)置的訓(xùn)練樣本的精度不低于預(yù)設(shè)精度。該方法及裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀介質(zhì)利用遺傳算法對(duì)已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮，降低了神經(jīng)網(wǎng)絡(luò)模型的計(jì)算量和存儲(chǔ)空間，使其能應(yīng)用于存儲(chǔ)和計(jì)算資源都受限的設(shè)備，并能同時(shí)兼顧神經(jīng)網(wǎng)絡(luò)模型的精度和壓縮。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)模型壓縮方法及裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

近年來(lái)，隨著人工智能的發(fā)展，神經(jīng)網(wǎng)絡(luò)(Neural Network，NN)算法被廣泛應(yīng)用于圖像處理，語(yǔ)音識(shí)別，自然語(yǔ)言處理等多個(gè)領(lǐng)域。然而，效果較好的深度神經(jīng)網(wǎng)絡(luò)往往有著數(shù)量較大的節(jié)點(diǎn)(神經(jīng)元)和模型參數(shù)，不僅計(jì)算量大而且在實(shí)際部署中模型占據(jù)較大一部分空間，限制了其應(yīng)用于存儲(chǔ)和計(jì)算資源都受限的設(shè)備。因此，如何對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮顯得尤為重要，特別是對(duì)已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮，將有利于把訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到諸如嵌入式設(shè)備、集成硬件設(shè)備中等應(yīng)用場(chǎng)景。

發(fā)明內(nèi)容

鑒于以上問題，本發(fā)明的實(shí)施例提供一種神經(jīng)網(wǎng)絡(luò)模型壓縮方法及裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀介質(zhì)，其能對(duì)已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮，降低神經(jīng)網(wǎng)絡(luò)模型的計(jì)算量和存儲(chǔ)空間，使神經(jīng)網(wǎng)絡(luò)模型能應(yīng)用于存儲(chǔ)和計(jì)算資源受限的設(shè)備。

按照本發(fā)明的實(shí)施例的神經(jīng)網(wǎng)絡(luò)模型壓縮方法，包括：獲取經(jīng)訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)模型；從第一神經(jīng)網(wǎng)絡(luò)模型的各層中選取至少一層作為待壓縮層；按照預(yù)設(shè)規(guī)則對(duì)待壓縮層進(jìn)行排序；根據(jù)排序的先后順序，利用遺傳算法對(duì)待壓縮層的部分或全部執(zhí)行壓縮處理以獲得第二神經(jīng)網(wǎng)絡(luò)模型，其中，第二神經(jīng)網(wǎng)絡(luò)模型基于預(yù)置的訓(xùn)練樣本的精度不低于預(yù)設(shè)精度。

按照本發(fā)明的實(shí)施例的神經(jīng)網(wǎng)絡(luò)模型壓縮裝置，包括：獲取模塊，用于獲取經(jīng)訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)模型；選取模塊，用于從第一神經(jīng)網(wǎng)絡(luò)模型的各層中選取至少一層作為待壓縮層；排序模塊，用于按照預(yù)設(shè)規(guī)則對(duì)待壓縮層進(jìn)行排序；壓縮模塊，用于根據(jù)排序的先后順序，利用遺傳算法對(duì)待壓縮層的部分或全部執(zhí)行壓縮處理以獲得第二神經(jīng)網(wǎng)絡(luò)模型，其中，第二神經(jīng)網(wǎng)絡(luò)模型基于預(yù)置的訓(xùn)練樣本的精度不低于預(yù)設(shè)精度。

按照本發(fā)明的實(shí)施例的計(jì)算機(jī)設(shè)備，包括：處理器；以及存儲(chǔ)器，其上存儲(chǔ)有可執(zhí)行指令，其中，所述可執(zhí)行指令當(dāng)被執(zhí)行時(shí)使得所述處理器執(zhí)行前述的方法。

按照本發(fā)明的實(shí)施例的計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有可執(zhí)行指令，其中，所述可執(zhí)行指令當(dāng)被執(zhí)行時(shí)使得計(jì)算機(jī)執(zhí)行前述的方法。

從以上的描述可以看出，本發(fā)明的實(shí)施例的方案利用遺傳算法對(duì)已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮，降低了神經(jīng)網(wǎng)絡(luò)模型的計(jì)算量和存儲(chǔ)空間，使其能應(yīng)用于存儲(chǔ)和計(jì)算資源都受限的設(shè)備。并且，本發(fā)明的實(shí)施例的方案能同時(shí)兼顧神經(jīng)網(wǎng)絡(luò)模型的精度和壓縮。

附圖說(shuō)明

圖1為本發(fā)明的實(shí)施例可以應(yīng)用于其中的示例性架構(gòu)圖；

圖2為按照本發(fā)明的一個(gè)實(shí)施例的神經(jīng)網(wǎng)絡(luò)模型壓縮方法的流程圖；

圖3為按照本發(fā)明的一個(gè)實(shí)施例的利用遺傳算法對(duì)待壓縮層執(zhí)行壓縮處理的方法的流程圖；

圖3a為一神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的示例圖；

圖4為按照本發(fā)明的一個(gè)實(shí)施例的神經(jīng)網(wǎng)絡(luò)模型壓縮裝置的流程圖；

圖5為按照本發(fā)明的一個(gè)實(shí)施例的計(jì)算機(jī)設(shè)備的示意圖；

圖6為按照本發(fā)明的一個(gè)實(shí)施例的適于用來(lái)實(shí)現(xiàn)本發(fā)明實(shí)施方式的示例性計(jì)算機(jī)設(shè)備的框圖。

具體實(shí)施方式