[發(fā)明專利]數(shù)據(jù)處理方法及裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110581028.9
• 申請(qǐng)日: 2021-05-26
• 公開（公告）號(hào): CN113673694A
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計(jì)）人: 涂小兵;魯路;張偉豐
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴新加坡控股有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 北京市惠誠律師事務(wù)所 11353
• 代理人: 劉子敬

本申請(qǐng)公開了一種數(shù)據(jù)處理方法及裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：獲取壓縮參數(shù)的初始值以及與所述初始值對(duì)應(yīng)的模型精度值，其中，所述模型精度值為采用所述壓縮參數(shù)的初始值壓縮后的目標(biāo)模型的計(jì)算精度；比較所述模型精度值與原始精度值的大小，并根據(jù)比較結(jié)果，調(diào)整所述壓縮參數(shù)的數(shù)值，其中，所述原始精度值為壓縮前的所述目標(biāo)模型的計(jì)算精度；輸出所述壓縮參數(shù)的調(diào)整后的數(shù)值。本申請(qǐng)實(shí)施例能夠通過判斷目標(biāo)模型在被壓縮前后的計(jì)算精度的變化，來調(diào)整壓縮參數(shù)的數(shù)值，從而得到適合該目標(biāo)模型的壓縮參數(shù)，以達(dá)到較佳的壓縮效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，已經(jīng)在越來越多的領(lǐng)域中采用人工智能技術(shù)來進(jìn)行包括計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理等方面的計(jì)算任務(wù)。特別是深度神經(jīng)網(wǎng)絡(luò)由于其能夠利用長(zhǎng)期記憶進(jìn)行學(xué)習(xí)，從而大幅度地提升了人工智能技術(shù)的自我學(xué)習(xí)能力和計(jì)算效果。因此，深度神經(jīng)網(wǎng)絡(luò)隨著人工智能技術(shù)的發(fā)展而得到了越來越廣泛的應(yīng)用。深度神經(jīng)網(wǎng)絡(luò)由于其具有長(zhǎng)期記憶的特性，使得其在使用中需要巨大的計(jì)算開銷和內(nèi)存存儲(chǔ)空間，但是在人工智能技術(shù)的應(yīng)用越來越廣泛的情況下，越來越多的應(yīng)用場(chǎng)景都是具有有限資源的計(jì)算環(huán)境。因此，在這樣的計(jì)算環(huán)境下，采用深度神經(jīng)網(wǎng)絡(luò)的人工智能技術(shù)一方面計(jì)算效率受到計(jì)算資源的限制和影響，另一方面，深度神經(jīng)網(wǎng)絡(luò)對(duì)于計(jì)算資源的巨大需求甚至阻礙了其在深入人們生活的各個(gè)場(chǎng)景中的應(yīng)用。

在現(xiàn)有技術(shù)中，已經(jīng)提出了針對(duì)深度神經(jīng)網(wǎng)絡(luò)存在的或多或少的參數(shù)冗余的情況，使用適當(dāng)?shù)哪Ｐ蛪嚎s方式來對(duì)這樣的網(wǎng)絡(luò)進(jìn)行壓縮，從而獲得相對(duì)輕量并且同時(shí)還保持一定程度的準(zhǔn)確率的網(wǎng)絡(luò)，以適應(yīng)具有有限的計(jì)算資源的應(yīng)用場(chǎng)景。在現(xiàn)有技術(shù)中，例如已經(jīng)采用了ADMM(Alternating Direction Method of Multipliers，交替方向乘子法)來進(jìn)行神經(jīng)網(wǎng)絡(luò)參數(shù)量的壓縮處理。但是對(duì)于現(xiàn)有技術(shù)中所使用的例如ADMM的壓縮方案來說，通常需要手動(dòng)指定具體的壓縮率，對(duì)于神經(jīng)網(wǎng)絡(luò)來說，每一層的稀疏敏感度不同，因此現(xiàn)有技術(shù)中使用固定的壓縮率比較難以達(dá)到較佳的壓縮效果。

因此，需要一種能夠快速確定壓縮率參數(shù)以提高壓縮效果的技術(shù)方案。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)處理方法及裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中使用固定的壓縮率難以達(dá)到較佳壓縮效果的缺陷。

為達(dá)到上述目的，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理方法，包括：

獲取壓縮參數(shù)的初始值以及與所述初始值對(duì)應(yīng)的模型精度值，其中，所述模型精度值為采用所述壓縮參數(shù)的初始值壓縮后的目標(biāo)模型的計(jì)算精度；

比較所述模型精度值與原始精度值的大小，并根據(jù)比較結(jié)果，調(diào)整所述壓縮參數(shù)的數(shù)值，其中，所述原始精度值為壓縮前的所述目標(biāo)模型的計(jì)算精度；

輸出所述壓縮參數(shù)的調(diào)整后的數(shù)值。

進(jìn)一步地，根據(jù)本申請(qǐng)實(shí)施例，本申請(qǐng)的數(shù)據(jù)處理方法中，調(diào)整壓縮參數(shù)的數(shù)值可以包括：將壓縮參數(shù)的數(shù)值減小為三分之一。

進(jìn)一步地，根據(jù)本申請(qǐng)實(shí)施例，本申請(qǐng)的數(shù)據(jù)處理方法中，壓縮參數(shù)的數(shù)值的增加和減小可以是非對(duì)稱的。

進(jìn)一步地，根據(jù)本申請(qǐng)實(shí)施例，本申請(qǐng)的數(shù)據(jù)處理方法中，根據(jù)比較結(jié)果，調(diào)整壓縮參數(shù)的數(shù)值可以包括：當(dāng)模型精度值大于或等于原始精度值時(shí)，將壓縮參數(shù)的數(shù)值加倍，并且當(dāng)模型精度值小于原始精度值時(shí)，將壓縮參數(shù)的數(shù)值減小為三分之一。

進(jìn)一步地，根據(jù)本申請(qǐng)實(shí)施例，本申請(qǐng)的數(shù)據(jù)處理方法中，采用ADMM方案對(duì)目標(biāo)模型執(zhí)行壓縮處理，并且壓縮處理可以進(jìn)一步包括：對(duì)目標(biāo)模型的當(dāng)前網(wǎng)絡(luò)層進(jìn)行壓縮處理時(shí)，將當(dāng)前網(wǎng)絡(luò)層的關(guān)聯(lián)層的剩余參數(shù)量作為ADMM的新增約束，其中關(guān)聯(lián)層的剩余參數(shù)量可以指該關(guān)聯(lián)層在被壓縮后所剩余的參數(shù)的數(shù)量，并且，當(dāng)前網(wǎng)絡(luò)層的關(guān)聯(lián)層可以為當(dāng)前層的前層和/或后層。