[發(fā)明專利]減小移動設(shè)備端神經(jīng)網(wǎng)絡(luò)模型更新的傳輸消耗的方法

有效

• 申請?zhí)枺?/td>: 201710669163.2
• 申請日: 2017-08-08
• 公開（公告）號: CN107508866B
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 劉鐸;李世明;向超能;梁靚
• 申請（專利權(quán)）人: 重慶大學(xué)
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06N3/08
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 劉志敏;郝傳鑫

1.減小移動設(shè)備端神經(jīng)網(wǎng)絡(luò)模型更新的傳輸消耗的方法，其特征是：包括有以下步驟：

步驟1、移動設(shè)備選擇預(yù)測置信度低的數(shù)據(jù)上傳到云端；

步驟2、在云端，利用移動設(shè)備上傳的數(shù)據(jù)，混合舊數(shù)據(jù)集組成更大的訓(xùn)練集，重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)對新數(shù)據(jù)的學(xué)習(xí)；

步驟3、在云端提取新模型中少量權(quán)重，傳送到移動設(shè)備中，更新已部署到移動設(shè)備上的舊模型，使移動設(shè)備上的舊模型能達到新模型的識別性能；

所述提取新模型中少量權(quán)重包括以下步驟：

在步驟S01，輸入新模型和對應(yīng)的舊模型，并從第一層開始，執(zhí)行步驟S02；

在步驟S02，將舊模型該層替代新模型對應(yīng)層，生成Temp模型；設(shè)置權(quán)重差值的閾值列表t1,t2,t3,…tn；

在步驟S03，在當前層的權(quán)重差值閾值列表中讀取一個閾值t_i；

在步驟S04，將新模型與舊模型當前層權(quán)重矩陣中的一個位置的權(quán)重作差，然后比較差值是否大于當前選擇的閾值t_i；若是，執(zhí)行步驟S05；否則執(zhí)行步驟S06；

在步驟S05，將新模型當前層權(quán)重矩陣中對應(yīng)位置的權(quán)重替代Temp模型對應(yīng)層權(quán)重矩陣中相應(yīng)位置權(quán)重；然后執(zhí)行步驟S06；

在步驟S06，繼續(xù)遍歷對比當前層權(quán)重矩陣的下一個位置權(quán)重；然后執(zhí)行步驟S07；

在步驟S07，判斷當前層權(quán)重矩陣的所有權(quán)重是否遍歷完成；若是，則執(zhí)行步驟S08，否則執(zhí)行步驟S04；

在步驟S08，通過測試集，測試被更新后的Temp模型，得到測試精度；然后保存Temp模型測試精度、當前使用的權(quán)重差值閾值以及當前層總的權(quán)重更新量作為閾值考察列表，然后執(zhí)行步驟S09；

在步驟S09，判斷當前層的閾值列表的所有閾值是否都判斷完；若是，則執(zhí)行步驟S10；否則讀取下一個閾值，并執(zhí)行步驟S03；

在步驟S10，通過搜索步驟S08中獲得的閾值考察列表，提取當前層的最佳閾值；

在步驟S11，判斷當前層是否是模型最后一層；若是，則執(zhí)行步驟S12，否則執(zhí)行步驟S02；

在步驟S12，根據(jù)模型每層得到的最佳閾值，從新模型每一層中提取變化大的權(quán)重，將超過最佳閾值的權(quán)重以及權(quán)重位置索引信息作為輸出進行保存；

在步驟S13，輸出新模型每一層提取的權(quán)重以及權(quán)重的索引信息，作為需要傳送到移動端的更新數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的減小移動設(shè)備端神經(jīng)網(wǎng)絡(luò)模型更新的傳輸消耗的方法，其特征是：在步驟1中，設(shè)定一個預(yù)測置信度閾值，選擇預(yù)測置信度小于該閾值的數(shù)據(jù)作為上傳數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的減小移動設(shè)備端神經(jīng)網(wǎng)絡(luò)模型更新的傳輸消耗的方法，其特征是：在步驟2中，利用增量學(xué)習(xí)的方法，將新數(shù)據(jù)加到舊的訓(xùn)練數(shù)據(jù)集上，組成更大的混合訓(xùn)練集。