[發(fā)明專利]人工智能模型設計優(yōu)化方法及裝置

在審

• 申請?zhí)枺?/td>: 202110714830.0
• 申請日: 2021-06-25
• 公開（公告）號: CN113313239A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設計）人: 胡伯承
• 申請（專利權）人: 展訊通信（上海）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 張振軍

1.一種人工智能模型設計優(yōu)化方法，其特征在于，所述方法包括：

確定目標硬件平臺架構的數(shù)據(jù)處理特點；

確定模型基礎框架和結構；

根據(jù)所述目標硬件平臺架構的數(shù)據(jù)處理特點進行模型結構優(yōu)化；

基于優(yōu)化后的模型結構訓練得到目標模型。

2.根據(jù)權利要求1所述的方法，其特征在于，所述確定目標硬件平臺架構的數(shù)據(jù)處理特點包括：

確定所述目標硬件平臺架構對數(shù)據(jù)的切割和重組原理；和/或

確定所述目標硬件平臺架構的數(shù)據(jù)運算流程。

3.根據(jù)權利要求2所述的方法，其特征在于，所述根據(jù)所述目標硬件平臺架構的數(shù)據(jù)處理特點進行模型結構優(yōu)化包括：

根據(jù)所述目標硬件平臺架構對數(shù)據(jù)的切割和重組原理對模型的數(shù)據(jù)存儲及數(shù)據(jù)排布進行優(yōu)化；和/或

根據(jù)所述目標硬件平臺架構的數(shù)據(jù)運算流程對模型的結構進行優(yōu)化。

4.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述目標硬件平臺架構對數(shù)據(jù)的切割和重組原理對模型的數(shù)據(jù)存儲及數(shù)據(jù)排布進行優(yōu)化包括：

將模型中的參數(shù)和數(shù)據(jù)修改為多通道混合輸入；和/或

將模型的網(wǎng)絡按通道進行切分，以使所述目標硬件平臺架構針對不同通道的特征圖進行處理運算。

5.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述目標硬件平臺架構的數(shù)據(jù)運算流程對模型的結構進行優(yōu)化包括：

減少模型結構中的分支；和/或

減少模型結構中深度殘差模塊的深度。

6.根據(jù)權利要求1至5任一項所述的方法，其特征在于，所述方法還包括：

對所述目標模型進行評估，得到評估結果；

如果所述評估結果滿足設定目標，則輸出所述目標模型；

否則，根據(jù)所述目標模型的性能逐層確定性能損失及優(yōu)化代價；

如果所述性能損失大于設定值并且所述優(yōu)化代價小于設定的代價閾值，則重新根據(jù)所述目標硬件平臺架構對進行模型結構優(yōu)化，直至優(yōu)化后的目標模型的評估結果滿足設定目標；

否則，重新確定模型基礎框架和結構，訓練目標模型，直至訓練得到的目標模型的評估結果滿足設定目標。

7.一種人工智能模型設計優(yōu)化裝置，其特征在于，所述裝置包括：

硬件分析模塊，用于確定目標硬件平臺架構的數(shù)據(jù)處理特點；

模型架構選擇模塊，用于確定模型基礎框架和結構；

結構優(yōu)化模塊，用于根據(jù)所述目標硬件平臺架構的數(shù)據(jù)處理特點進行模型結構優(yōu)化；

訓練模塊，用于基于優(yōu)化后的模型結構訓練得到目標模型。

8.根據(jù)權利要求7所述的裝置，其特征在于，所述硬件分析模塊包括：

數(shù)據(jù)處理分析單元，用于確定所述目標硬件平臺架構對數(shù)據(jù)的切割和重組原理；和/或

運算流程分析單元，用于確定所述目標硬件平臺架構的數(shù)據(jù)運算流程。

9.根據(jù)權利要求8所述的裝置，其特征在于，所述結構優(yōu)化模塊包括：

數(shù)據(jù)存儲及排布優(yōu)化單元，用于根據(jù)所述目標硬件平臺架構對數(shù)據(jù)的切割和重組原理對模型的數(shù)據(jù)存儲及數(shù)據(jù)排布進行優(yōu)化；和/或

模型結構優(yōu)化單元，用于根據(jù)所述目標硬件平臺架構的數(shù)據(jù)運算流程對模型的結構進行優(yōu)化。

10.根據(jù)權利要求9所述的裝置，其特征在于，

所述數(shù)據(jù)存儲及排布優(yōu)化單元，具體用于將模型中的參數(shù)和數(shù)據(jù)修改為多通道混合輸入；和/或將模型的網(wǎng)絡按通道進行切分，以使所述目標硬件平臺架構針對不同通道的特征圖進行處理運算。

11.根據(jù)權利要求9所述的裝置，其特征在于，

所述模型結構優(yōu)化單元，具體用于減少模型結構中的分支；和/或減少模型結構中深度殘差模塊的深度。