[發明專利]一種深度神經網絡架構的自適應搜索方法和系統

有效

• 申請號: 202010739741.7
• 申請日: 2020-07-28
• 公開（公告）號: CN112019510B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 劉譞哲;馬鄆;趙宇昕;徐夢煒;黃罡
• 申請（專利權）人: 北京大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種深度神經網絡架構的自適應搜索系統，所述系統應用于深度學習中，其特征在于，所述系統包括云端模塊、多個終端設備；所述云端模塊包括：終端調度模塊、網絡架構搜索模塊、決策與聚合模塊；

所述終端調度模塊對所述終端設備進行分組，以得到不同的終端設備組；

所述網絡架構搜索模塊輸入一個預訓練的復雜模型架構，基于資源限制條件，通過結構化剪枝搜索到若干第一模型架構；

所述決策與聚合模塊將搜索到的第一模型架構發送至對應的終端設備組；同一終端設備組的不同終端設備接收到的第一模型架構相同；

所述決策與聚合模塊基于動態訓練策略，控制所有終端設備，對接收到的第一模型架構執行短期訓練測試任務，完成訓練任務后，得到所有終端設備相對應的第二模型架構；

所述決策與聚合模塊將聚合同一終端設備組的不同終端設備的第二模型架構，得到所有終端設備組的不同融合模型架構；

根據所述所有終端設備組的融合模型架構的準確率，得到系統的優選模型架構；

所述系統的優選模型架構滿足所述資源限制條件，則根據模型實際資源消耗，更新所述資源限制條件，進行新一輪的所述優選模型架構搜索的全局迭代任務；

所述優選模型架構不滿足所述資源限制條件，則停止系統迭代；

針對每一輪得到的所述優選模型架構，進行長期訓練，以得到相應資源限制下的最優模型架構。

2.根據權利要求1所述的系統，其特征在于，所述終端調度模塊對所述終端設備進行分組，以得到不同的終端設備組，還包括：

所述終端調度模塊基于終端設備屬性，對所述終端設備進行分組，以得到不同的終端設備組；

其中，所述終端設備屬性包括所述終端設備的數據量、所述終端設備的數據分布、所述終端設備的工作狀態。

3.根據權利要求2所述的系統，其特征在于，所述終端調度模塊基于終端設備屬性，對所述終端設備進行分組，以得到不同的終端設備組，包括：

所述終端設備統計所述終端設備屬性；

所述終端設備將所述終端設備屬性上傳至所述終端調度模塊；

所述終端調度模塊根據上傳的所述終端設備屬性，對終端設備進行分組，每個終端設備分組數據總量保持均衡、每個終端設備分組的數據分布均衡。

4.根據權利要求1所述的系統，其特征在于，所述網絡架構搜索模塊輸入一個預訓練的復雜模型架構，基于資源限制條件，通過結構化剪枝搜索到若干第一模型架構，還包括：

所述網絡架構搜索模塊是迭代式的，在所述全局迭代任務中將資源限制條件分解為若干個逐漸收緊的資源約束，基于所述資源約束進行結構化剪枝搜索。

5.根據權利要求1所述的系統，其特征在于，所述決策與聚合模塊基于動態訓練策略，控制所有終端設備，對接收到的第一模型架構執行短期訓練測試任務，完成訓練任務后，得到所有終端設備相對應的第二模型架構，包括：

所述決策與聚合模塊基于動態訓練策略，控制所有終端設備，對接收到的第一模型架構執行短期訓練測試任務；

所述動態訓練策略包括動態的云端輪數設置和提前剪枝掉隊備選模型；

所述短期訓練測試任務完成后，獲得所有終端設備相對應的第二模型架構；

其中，所述云端輪數為所述決策與聚合模塊聚合同一終端設備組的不同終端設備的第二模型架構的次數；

其中，所述動態云端輪數設置包括所述第二模型架構在所述決策與聚合模塊聚合的次數隨著所述優選模型架構搜索的全局迭代次數動態變化；所述提前剪枝掉隊備選模型包括所述第二模型架構在預設云端輪數后，相對于其他模型架構表現最差的部分模型，提前剪枝停止當前短期訓練測試任務。