[發(fā)明專利]一種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的自適應(yīng)搜索方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010739741.7
• 申請日: 2020-07-28
• 公開（公告）號: CN112019510B
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計）人: 劉譞哲;馬鄆;趙宇昕;徐夢煒;黃罡
• 申請（專利權(quán)）人: 北京大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06N3/08
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

本發(fā)明提供了一種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的自適應(yīng)搜索方法和系統(tǒng)，旨在保護數(shù)據(jù)隱私的前提下，降低計算開銷和通信開銷，實現(xiàn)深度學習從云端分載到終端，提高終端參與效率。所述方法包括：終端調(diào)度模塊根據(jù)終端屬性對終端分組；網(wǎng)絡(luò)架構(gòu)搜索模塊搜索到若干模型架構(gòu)；決策與聚合模塊基于動態(tài)訓練策略，控制終端組對模型架構(gòu)進行短期訓練測試；根據(jù)融合模型架構(gòu)準確率，得到優(yōu)選模型架構(gòu)；優(yōu)選模型架構(gòu)滿足資源限制，則更新資源限制，進行新一輪迭代，不滿足資源限制，則停止迭代；對每輪獲得的優(yōu)選模型架構(gòu)，進行長期訓練，得到每輪對應(yīng)資源限制下最優(yōu)模型架構(gòu)。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學習領(lǐng)域，特別是涉及一種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的自適應(yīng)搜索方法和系統(tǒng)。

背景技術(shù)

深度學習是機器學習的一種，目的在于建立模擬人腦進行分析學習的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本等。

目前，深度學習技術(shù)在移動端的多個不同領(lǐng)域落地，包括照片美化、輸入法預測、購物推薦、語音識別等等，擴展了應(yīng)用的服務(wù)功能，大大提升了用戶體驗，成為很多應(yīng)用必不可少的組成部分。另一方面，移動場景也是深度學習現(xiàn)在非常重要的應(yīng)用平臺，很多深度學習技術(shù)得以在移動平臺上體現(xiàn)價值。

然而，現(xiàn)在傳統(tǒng)的深度學習模型，往往向著更加復雜、更加高運算量的方向發(fā)展，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型體積可達上百MB，一次推理運算量達到10⁹級別。這些大模型由于受到資源限制的諸多約束，包括電池電量較小、計算資源有限、存儲空間不足、網(wǎng)絡(luò)帶寬限制等，而不能直接運行于終端。同時，精準復雜的深度學習模型，依賴海量的真實數(shù)據(jù)參與訓練調(diào)優(yōu)，這往往需要大規(guī)模、甚至跨領(lǐng)域地采集用戶私人敏感數(shù)據(jù)上傳到云端被處理和使用，帶來潛在泄露隱私風險。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的自適應(yīng)搜索方法和系統(tǒng)，以解決現(xiàn)有技術(shù)中資源限制導致網(wǎng)絡(luò)架構(gòu)不能直接運行于終端中進行深度學習。

為了解決上述問題，本發(fā)明實施例第一方面提供一種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的自適應(yīng)搜索系統(tǒng)，包括云端模塊、多個終端設(shè)備；所述云端模塊包括：終端調(diào)度模塊、網(wǎng)絡(luò)架構(gòu)搜索模塊、決策與聚合模塊；

所述終端調(diào)度模塊對所述終端設(shè)備進行分組，以得到不同的終端設(shè)備組；

所述網(wǎng)絡(luò)架構(gòu)搜索模塊輸入一個預訓練的復雜模型架構(gòu)，基于資源限制條件，通過結(jié)構(gòu)化剪枝搜索到若干第一模型架構(gòu)；

所述決策與聚合模塊將搜索到的第一模型架構(gòu)發(fā)送至對應(yīng)的終端設(shè)備組；同一終端設(shè)備組的不同終端設(shè)備接收到的第一模型架構(gòu)相同；

所述決策與聚合模塊基于動態(tài)訓練策略，控制所有終端設(shè)備，對接收到的第一模型架構(gòu)執(zhí)行短期訓練測試任務(wù)，完成訓練任務(wù)后，得到所有終端設(shè)備相對應(yīng)的第二模型架構(gòu)；

所述決策與聚合模塊將聚合同一終端設(shè)備組的不同終端設(shè)備的第二模型架構(gòu)，得到所有終端設(shè)備組的不同融合模型架構(gòu)；

根據(jù)所述所有終端設(shè)備組的融合模型架構(gòu)的準確率，得到系統(tǒng)的優(yōu)選模型架構(gòu)；

所述系統(tǒng)的優(yōu)選模型架構(gòu)滿足所述資源限制條件，則根據(jù)模型實際資源消耗，更新所述資源限制條件，進行新一輪的所述優(yōu)選模型架構(gòu)搜索的全局迭代任務(wù)；

所述優(yōu)選模型架構(gòu)不滿足所述資源限制條件，則停止系統(tǒng)迭代；

針對每一輪得到的所述優(yōu)選模型架構(gòu)，進行長期訓練，以得到相應(yīng)資源限制下的最優(yōu)模型架構(gòu)。

可選地，所述終端調(diào)度模塊對所述終端設(shè)備進行分組，以得到不同的終端設(shè)備組，還包括：

所述終端調(diào)度模塊基于終端設(shè)備屬性，對所述終端設(shè)備進行分組，以得到不同的終端設(shè)備組；

其中，所述終端設(shè)備屬性包括所述終端設(shè)備的數(shù)據(jù)量、所述終端設(shè)備的數(shù)據(jù)分布、所述終端設(shè)備的工作狀態(tài)。