[發明專利]人工智能模型設計優化方法及裝置

在審

• 申請號: 202110714830.0
• 申請日: 2021-06-25
• 公開（公告）號: CN113313239A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 胡伯承
• 申請（專利權）人: 展訊通信（上海）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍

一種人工智能模型設計優化方法及裝置，該方法包括：確定目標硬件平臺架構的數據處理特點；確定模型基礎框架和結構；根據所述目標硬件平臺架構的數據處理特點進行模型結構優化；基于優化后的模型結構訓練得到目標模型。利用本發明，可以減少推理時間，提升模型性能。

技術領域

本發明涉及硬件設計技術領域，具體地涉及一種人工智能模型設計優化方法及裝置。

背景技術

軟件設計的模型開發者與硬件平臺的設計者往往是兩部分人，人工智能模型的開發者更多的把重心放在模型性能、效果提升以及更有效的結構上，這使得模型的設計初始并沒有考慮到硬件平臺的架構，從而使得硬件平臺在對模型進行編譯推理時，往往需要對模型結構進行拆分和調整。比如，在神經網絡設計過程中，往往不考慮硬件上的性能支持，而硬件設計方面，則單方面采取模型優化，比如對模型數據和結構進行一定程度的重構和重排，以適應自身硬件設計。這樣不僅會導致模型在硬件平臺上推理時需要更多開銷，而且會影響模型的性能，主要體現在以下兩方面：

1.優化步驟一般不在NPU(Neural-network Processing Unit，嵌入式神經網絡處理器)中進行，而需要切換到CPU進行，使得模型時間消耗增加。因此這種方法不夠靈活，且耗時較大。

2.硬件進行模型優化只能提前在硬件編譯期間設定好，僅能優化已有的模型結構，對未知結構無法進行優化。

發明內容

本申請實施例提供一種人工智能模型設計優化方法及裝置，以減少推理時間，提升模型性能。

為此，本發明實施例提供如下技術方案：

一種人工智能模型設計優化方法，所述方法包括：

確定目標硬件平臺架構的數據處理特點；

確定模型基礎框架和結構；

根據所述目標硬件平臺架構的數據處理特點進行模型結構優化；

基于優化后的模型結構訓練得到目標模型。

可選地，所述確定目標硬件平臺架構的數據處理特點包括：

確定所述目標硬件平臺架構對數據的切割和重組原理；和/或

確定所述目標硬件平臺架構的數據運算流程。

可選地，所述根據所述目標硬件平臺架構的數據處理特點進行模型結構優化包括：

根據所述目標硬件平臺架構對數據的切割和重組原理對模型的數據存儲及數據排布進行優化；和/或

根據所述目標硬件平臺架構的數據運算流程對模型的結構進行優化。

可選地，所述根據所述目標硬件平臺架構對數據的切割和重組原理對模型的數據存儲及數據排布進行優化包括：

將模型中的參數和數據修改為多通道混合輸入；和/或

將模型的網絡按通道進行切分，以使所述目標硬件平臺架構針對不同通道的特征圖進行處理運算。

可選地，所述根據所述目標硬件平臺架構的數據運算流程對模型的結構進行優化包括：

減少模型結構中的分支；和/或

減少模型結構中深度殘差模塊的深度。

可選地，所述方法還包括：

對所述目標模型進行評估，得到評估結果；

如果所述評估結果滿足設定目標，則輸出所述目標模型；

否則，根據所述目標模型的性能逐層確定性能損失及優化代價；