[發(fā)明專利]一種模型數(shù)據(jù)壓縮方法、系統(tǒng)及相關(guān)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010961326.6
• 申請(qǐng)日: 2020-09-14
• 公開（公告）號(hào): CN112054805B
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 夏文;劉洋;張偉哲;胡甄博;鄒翔宇
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（深圳）
• 主分類號(hào): H03M7/30
• 分類號(hào): H03M7/30
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王學(xué)強(qiáng)

本發(fā)明實(shí)施例提供了一種模型數(shù)據(jù)壓縮方法、系統(tǒng)及相關(guān)設(shè)備，用于節(jié)約網(wǎng)絡(luò)傳輸資源，提高模型數(shù)據(jù)壓縮率。本發(fā)明實(shí)施例方法包括：計(jì)算目標(biāo)模型與參考模型中的同種類型參數(shù)之間的差量數(shù)據(jù)；采用預(yù)設(shè)壓縮算法對(duì)所述差量數(shù)據(jù)進(jìn)行壓縮得到目標(biāo)壓縮文件；將所述目標(biāo)壓縮文件發(fā)送給目標(biāo)終端設(shè)備，以使得所述目標(biāo)終端設(shè)備根據(jù)所述差量數(shù)據(jù)以及本地存儲(chǔ)的所述參考模型恢復(fù)所述目標(biāo)模型。

技術(shù)領(lǐng)域

本發(fā)明涉及模型數(shù)據(jù)壓縮技術(shù)領(lǐng)域，尤其涉及一種模型數(shù)據(jù)壓縮方法、系統(tǒng)及相關(guān)設(shè)備。

背景技術(shù)

在大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)產(chǎn)生速度的持續(xù)加快，數(shù)據(jù)的體量有了前所未有的增長(zhǎng)，而需要分析的新的數(shù)據(jù)種類也在不斷涌現(xiàn)，如文本的理解、文本情感的分析、圖像的檢索和理解、圖形和網(wǎng)絡(luò)數(shù)據(jù)的分析等。這使得大數(shù)據(jù)機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等智能計(jì)算技術(shù)在大數(shù)據(jù)智能化分析處理應(yīng)用中具有極其重要的作用。

現(xiàn)有的機(jī)器學(xué)習(xí)模型的訓(xùn)練過(guò)程中，往往需要對(duì)模型進(jìn)行多輪訓(xùn)練，訓(xùn)練過(guò)程中需要模型數(shù)據(jù)在不同的終端設(shè)備之間進(jìn)行多次傳輸。為了提高數(shù)據(jù)傳輸效率，往往需要對(duì)模型進(jìn)行壓縮處理。現(xiàn)有的模型壓縮往往直接采用壓縮算法，即對(duì)單個(gè)完整的模型進(jìn)行壓縮，其壓縮率較為有限，數(shù)據(jù)傳輸效率有待進(jìn)一步提高。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種模型數(shù)據(jù)壓縮方法、系統(tǒng)及相關(guān)設(shè)備，用于節(jié)約網(wǎng)絡(luò)傳輸資源，提高模型數(shù)據(jù)壓縮率。

本發(fā)明實(shí)施例第一方面提供了一種模型數(shù)據(jù)壓縮方法，可包括：

計(jì)算目標(biāo)模型與參考模型中的同種類型參數(shù)之間的差量數(shù)據(jù)；

采用預(yù)設(shè)壓縮算法對(duì)所述差量數(shù)據(jù)進(jìn)行壓縮得到目標(biāo)壓縮文件；

將所述目標(biāo)壓縮文件發(fā)送給目標(biāo)終端設(shè)備，以使得所述目標(biāo)終端設(shè)備根據(jù)所述差量數(shù)據(jù)以及本地存儲(chǔ)的所述參考模型恢復(fù)所述目標(biāo)模型。

可選的，作為一種可能的實(shí)施方式，本發(fā)明實(shí)施例中，所述計(jì)算目標(biāo)模型與參考模型中的同種類型參數(shù)之間的差量數(shù)據(jù)，可以包括：

計(jì)算目標(biāo)模型與參考模型中的同種類型參數(shù)之間的差值，并將所述同種類型參數(shù)之間的差值轉(zhuǎn)換成的整數(shù)類型數(shù)據(jù)作為同種類型參數(shù)之間的差量數(shù)據(jù)。

可選的，作為一種可能的實(shí)施方式，本發(fā)明實(shí)施例中，將所述同種類型參數(shù)之間的差值轉(zhuǎn)換成整數(shù)類型數(shù)據(jù)，可以包括：

根據(jù)公式對(duì)同種類型參數(shù)之間的差值轉(zhuǎn)換成整數(shù)類型數(shù)據(jù)，其中Ai、Bi分別為目標(biāo)模型與參考模型中的同種類型參數(shù)，ε為預(yù)先設(shè)定的相對(duì)誤差范圍參數(shù)，log運(yùn)算的底數(shù)為2，q為-1至1之間的常數(shù)。

可選的，作為一種可能的實(shí)施方式，本發(fā)明實(shí)施例中，所述采用預(yù)設(shè)壓縮算法對(duì)所述差量數(shù)據(jù)進(jìn)行壓縮得到目標(biāo)壓縮文件，可以包括：

采用游程編碼對(duì)差量數(shù)據(jù)進(jìn)行壓縮處理，并將壓縮后數(shù)據(jù)采用無(wú)損壓縮技術(shù)進(jìn)行再次壓縮，得到最終的目標(biāo)壓縮文件。

可選的，作為一種可能的實(shí)施方式，本發(fā)明實(shí)施例中，在將所述目標(biāo)壓縮文件發(fā)送給目標(biāo)終端設(shè)備之前，還可以包括：

計(jì)算多個(gè)不同相對(duì)誤差范圍參數(shù)ε下的壓縮率Ω以及模型精確率參數(shù)Φ；

根據(jù)公式Score＝α〃Φ+β〃Ω，計(jì)算多個(gè)相對(duì)誤差范圍參數(shù)ε下的評(píng)分，并確定最高得分對(duì)應(yīng)的相對(duì)誤差范圍參數(shù)ε為最優(yōu)參數(shù)，并根據(jù)所述最優(yōu)參數(shù)計(jì)算所述目標(biāo)壓縮文件，其中α、β為0至1之間的實(shí)數(shù)，且α+β＝1。

本發(fā)明實(shí)施例第二方面提供了一種模型數(shù)據(jù)壓縮系統(tǒng)，可包括：

第一計(jì)算模塊，用于計(jì)算目標(biāo)模型與參考模型中的同種類型參數(shù)之間的差量數(shù)據(jù)；

壓縮模塊，采用預(yù)設(shè)壓縮算法對(duì)所述差量數(shù)據(jù)進(jìn)行壓縮得到目標(biāo)壓縮文件；