[發(fā)明專利]一種邊-云協(xié)同的深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法

在審

• 申請?zhí)枺?/td>: 202110306836.4
• 申請日: 2021-03-23
• 公開（公告）號: CN113033653A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計）人: 田賢忠;朱娟;許婷
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強

一種邊?云協(xié)同的深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，先由中心云訓(xùn)練得到一個普適化模型，隨后將該模型遷移到邊緣服務(wù)器上，邊緣服務(wù)器對該普適化模型進行微調(diào)和再訓(xùn)練，微調(diào)的方式是凍結(jié)普適化模型除最后一層以外的所有神經(jīng)網(wǎng)絡(luò)層的參數(shù)，再修改最后一層全連接層的參數(shù)(主要通過修改神經(jīng)元的個數(shù)實現(xiàn))，然后以自身的個性化數(shù)據(jù)為訓(xùn)練數(shù)據(jù)集，再訓(xùn)練該普適化模型，得到一個能夠表征當(dāng)前場景個性化特點的且準確率更高的個性化DNN模型。本發(fā)明提升模型預(yù)測準確率。

技術(shù)領(lǐng)域

本發(fā)明屬于邊緣智能技術(shù)領(lǐng)域，涉及一種在邊緣云-中心云系統(tǒng)中對深度神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練以提升模型預(yù)測準確率的方法。

背景技術(shù)

邊緣智能是指結(jié)合邊緣計算實現(xiàn)的人工智能，將深度學(xué)習(xí)應(yīng)用的大部分計算任務(wù)部署到邊緣云而非中心云，既可以滿足深度學(xué)習(xí)應(yīng)用對于低時延的需求，又能保證深度學(xué)習(xí)應(yīng)用的服務(wù)質(zhì)量，從而實現(xiàn)了邊緣計算和人工智能的雙贏。邊緣智能的發(fā)展對邊緣計算和人工智能具有雙向共贏的優(yōu)勢：一方面，邊緣數(shù)據(jù)可以借助智能算法釋放潛力，提供更高的可用性。另一方面，邊緣計算能為智能算法提供更多的數(shù)據(jù)和應(yīng)用場景。

由于深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程需要大量的計算存儲資源，而邊緣云的計算存儲資源相對有限，和中心云無法比擬，另外，邊緣數(shù)據(jù)具有單一性，用單一數(shù)據(jù)訓(xùn)練得到的模型通常性能不佳，因此邊緣云獨自進行模型訓(xùn)練往往不能得到較高的模型準確率。邊-云協(xié)同進行模型訓(xùn)練是一種高效的模型訓(xùn)練方式，這種方式可以共同利用中心云和邊緣云的優(yōu)勢，先在中心云訓(xùn)練得到一個高準確率的普適化模型，再將該模型遷移至邊緣云加以微調(diào)和再訓(xùn)練，構(gòu)建一個更符合邊緣場景需求的個性化模型。

發(fā)明內(nèi)容

為了解決邊緣數(shù)據(jù)單一且邊緣云服務(wù)器計算能力有限，無法訓(xùn)練一個高準確率的深度神經(jīng)網(wǎng)絡(luò)模型問題，本發(fā)明提出了一種在邊緣云-中心云系統(tǒng)中，通過邊-云協(xié)同訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型的方案。該方案借助中心云的力量為邊緣云提供強大的計算存儲資源，能夠預(yù)訓(xùn)練得到一個準確率較高的普適化模型，邊緣云在普適化模型的基礎(chǔ)上再訓(xùn)練得到一個符合自身場景特點的準確率更高的個性化模型。

為了實現(xiàn)上述過程，本發(fā)明提供以下的技術(shù)方案：

一種邊-云協(xié)同的深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，包括如下步驟：

步驟1：中心云資源豐富，存有分類廣泛且全面的海量數(shù)據(jù)，這些數(shù)據(jù)均經(jīng)過有效標記，十分適合普適化模型的訓(xùn)練，首先根據(jù)任務(wù)類型選取輸入數(shù)據(jù)集用來進行模型訓(xùn)練，將這些數(shù)據(jù)定義為input_c；

步驟2：根據(jù)任務(wù)的類型選取合適的深度神經(jīng)網(wǎng)絡(luò)模型框架，將選取的神經(jīng)網(wǎng)絡(luò)模型框架定義為Model_pre；

步驟3：將input_c按比例k:1劃分為訓(xùn)練集train_c和測試集validate_c；

步驟4：選擇或定義一個當(dāng)前網(wǎng)絡(luò)的誤差損失函數(shù)lossFunction_c，選擇或定義一個適合當(dāng)前網(wǎng)絡(luò)的優(yōu)化器optimizer_c，并選擇一個迭代次數(shù)epoch_c，開始Model_pre的迭代優(yōu)化訓(xùn)練；

步驟5：首先隨機初始化Model_pre中的各個參數(shù)；

步驟6：在train_c數(shù)據(jù)集上進行Model_pre的優(yōu)化訓(xùn)練，并用lossFunction_c計算其輸出值與期望值的誤差loss，隨后將誤差loss進行反向傳播，并用optimizer_c進行Model_pre中各個參數(shù)的優(yōu)化；

步驟7：結(jié)束一次網(wǎng)絡(luò)訓(xùn)練后使用validate_c數(shù)據(jù)集對訓(xùn)練后的Model_pre進行性能測試，計算其測試準確率accuracy_c；

步驟8：將步驟6和步驟7重復(fù)epoch_c次循環(huán)，并選擇保留accuracy_c最高的一組模型參數(shù)為最終在中心云預(yù)訓(xùn)練得到的普適化模型Model_pre；

步驟9：中心云將Model_pre發(fā)送給邊緣云；