[發(fā)明專利]一種數(shù)據(jù)處理方法及相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011381498.2
• 申請(qǐng)日: 2020-11-30
• 公開（公告）號(hào): CN112529149A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 陳漢亭;王云鶴;許春景
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 陳松浩

本申請(qǐng)實(shí)施例公開了一種數(shù)據(jù)處理方法，應(yīng)用于人工智能領(lǐng)域，包括：獲取待壓縮網(wǎng)絡(luò)和多個(gè)數(shù)據(jù)，所述待壓縮網(wǎng)絡(luò)為分類網(wǎng)絡(luò)；將所述多個(gè)數(shù)據(jù)輸入所述待壓縮網(wǎng)絡(luò)，得到多個(gè)第一輸出結(jié)果，所述多個(gè)第一輸出結(jié)果與所述多個(gè)數(shù)據(jù)之間一一對(duì)應(yīng)；確定所述多個(gè)第一輸出結(jié)果中每個(gè)第一輸出結(jié)果所對(duì)應(yīng)的獨(dú)熱one?hot標(biāo)簽；分別確定所述多個(gè)第一輸出結(jié)果中每個(gè)第一輸出結(jié)果與所述one?hot標(biāo)簽之間的第一相似度；根據(jù)所述多個(gè)第一輸出結(jié)果中每個(gè)第一輸出結(jié)果對(duì)應(yīng)的所述第一相似度，在所述多個(gè)數(shù)據(jù)中確定至少一個(gè)目標(biāo)數(shù)據(jù)，所述至少一個(gè)目標(biāo)數(shù)據(jù)用于壓縮所述待壓縮網(wǎng)絡(luò)。通過該方法，能夠獲得大量與待壓縮網(wǎng)絡(luò)的原訓(xùn)練數(shù)據(jù)相近的數(shù)據(jù)，從而保證能夠有效地實(shí)現(xiàn)網(wǎng)絡(luò)的壓縮。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及相關(guān)裝置。

背景技術(shù)

近幾年來，深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的各類應(yīng)用中取得了巨大的成功，如圖像分類、目標(biāo)檢測(cè)、圖像分割等。但深度神經(jīng)網(wǎng)絡(luò)的模型往往包含大量的模型參數(shù)，計(jì)算量大，導(dǎo)致其難以應(yīng)用于一些計(jì)算能力較低的設(shè)備(如終端設(shè)備、嵌入式設(shè)備、集成設(shè)備等)上。

相關(guān)技術(shù)中，提出了深度神經(jīng)網(wǎng)絡(luò)的壓縮算法，能夠?qū)⒋鎯?chǔ)空間要求大、計(jì)算復(fù)雜度高的教師網(wǎng)絡(luò)模型，壓縮為存儲(chǔ)空間要求小且計(jì)算復(fù)雜度低的學(xué)生網(wǎng)絡(luò)模型，以使得學(xué)生網(wǎng)絡(luò)可應(yīng)用到低功耗、低計(jì)算能力的設(shè)備中。在相關(guān)技術(shù)中，采用壓縮算法對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮的過程中，需要用到原神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。

然而，在一些情況下，無法獲取到待壓縮網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，從而導(dǎo)致難以有效地實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的壓縮。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法，通過將獲取到的無標(biāo)簽數(shù)據(jù)輸入待壓縮網(wǎng)絡(luò)中，求取所得到的輸出結(jié)果的獨(dú)熱標(biāo)簽，并衡量輸出結(jié)果與獨(dú)熱標(biāo)簽之間的相似度，以將相似度較高的輸出結(jié)果對(duì)應(yīng)的無標(biāo)簽數(shù)據(jù)作為用于壓縮該待壓縮網(wǎng)絡(luò)的數(shù)據(jù)。通過該方法，能夠獲得大量與待壓縮網(wǎng)絡(luò)的原訓(xùn)練數(shù)據(jù)相近的數(shù)據(jù)，從而保證能夠有效地實(shí)現(xiàn)網(wǎng)絡(luò)的壓縮。

本申請(qǐng)第一方面提供一種數(shù)據(jù)處理方法，包括：數(shù)據(jù)處理裝置獲取待壓縮網(wǎng)絡(luò)和多個(gè)數(shù)據(jù)，所述待壓縮網(wǎng)絡(luò)為分類網(wǎng)絡(luò)用于對(duì)輸入的數(shù)據(jù)進(jìn)行分類，以得到輸出的分類結(jié)果；該多個(gè)數(shù)據(jù)可以為圖像數(shù)據(jù)、文本數(shù)據(jù)、視頻數(shù)據(jù)或語(yǔ)音數(shù)據(jù)。該待壓縮網(wǎng)絡(luò)例如可以為用戶上傳給數(shù)據(jù)處理裝置的，該多個(gè)數(shù)據(jù)可以是數(shù)據(jù)處理裝置訪問特定的圖庫(kù)所獲得的無標(biāo)簽數(shù)據(jù)。數(shù)據(jù)處理裝置依次將該多個(gè)數(shù)據(jù)輸入該待壓縮網(wǎng)絡(luò)中，以得到該多個(gè)數(shù)據(jù)中每個(gè)數(shù)據(jù)對(duì)應(yīng)的第一輸出結(jié)果。該第一輸出結(jié)果可以為一個(gè)n維標(biāo)簽，其中n為分類類別的數(shù)目，n維標(biāo)簽中的每一個(gè)標(biāo)簽值都表示該第一輸出結(jié)果對(duì)應(yīng)的數(shù)據(jù)所屬類別的概率。

數(shù)據(jù)處理裝置確定所述多個(gè)第一輸出結(jié)果中每個(gè)第一輸出結(jié)果所對(duì)應(yīng)的獨(dú)熱(one-hot)標(biāo)簽；所述one-hot標(biāo)簽例如為n維標(biāo)簽，所述n維標(biāo)簽包括1個(gè)值為1的標(biāo)簽值，以及n-1個(gè)值為0的標(biāo)簽值，所述n為大于1的整數(shù)。數(shù)據(jù)處理裝置分別確定所述多個(gè)第一輸出結(jié)果中每個(gè)第一輸出結(jié)果與所述one-hot標(biāo)簽之間的第一相似度；由于第一相似度可以用于衡量數(shù)據(jù)處理裝置所獲得的數(shù)據(jù)與原訓(xùn)練數(shù)據(jù)之間的相似性，因此，數(shù)據(jù)處理裝置可以根據(jù)獲取到的多個(gè)第一輸出結(jié)果中每個(gè)第一輸出結(jié)果對(duì)應(yīng)的第一相似度，在多個(gè)數(shù)據(jù)中確定目標(biāo)數(shù)據(jù)。簡(jiǎn)單來說，由于數(shù)據(jù)處理裝置獲得的數(shù)據(jù)均有對(duì)應(yīng)的第一輸出結(jié)果，且每個(gè)第一輸出結(jié)果有對(duì)應(yīng)的第一相似度，因此數(shù)據(jù)處理裝置獲得的數(shù)據(jù)均有對(duì)應(yīng)的第一相似度。對(duì)于數(shù)據(jù)處理裝置所獲得的數(shù)據(jù)來說，該數(shù)據(jù)對(duì)應(yīng)的第一相似度越高，則代表該數(shù)據(jù)與該待壓縮網(wǎng)絡(luò)的原始訓(xùn)練數(shù)據(jù)越接近，因此數(shù)據(jù)處理裝置可以選擇第一相似度較高的數(shù)據(jù)作為目標(biāo)數(shù)據(jù)，以實(shí)現(xiàn)該待壓縮網(wǎng)絡(luò)的壓縮。

本方案中，通過將獲取到的無標(biāo)簽數(shù)據(jù)輸入待壓縮網(wǎng)絡(luò)中，求取所得到的輸出結(jié)果的獨(dú)熱標(biāo)簽，并衡量輸出結(jié)果與獨(dú)熱標(biāo)簽之間的相似度，以將相似度較高的輸出結(jié)果對(duì)應(yīng)的無標(biāo)簽數(shù)據(jù)作為用于壓縮該待壓縮網(wǎng)絡(luò)的數(shù)據(jù)。通過該方法，能夠獲得大量與待壓縮網(wǎng)絡(luò)的原訓(xùn)練數(shù)據(jù)相近的數(shù)據(jù)，從而保證能夠有效地實(shí)現(xiàn)網(wǎng)絡(luò)的壓縮。