[發明專利]深度學習模型的推理方法、裝置、設備及存儲介質

在審

• 申請號: 202210404848.5
• 申請日: 2022-04-18
• 公開（公告）號: CN114819159A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 聞磊
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/08;G06N3/04
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 唐會娜

1.一種深度學習模型的推理方法，其特征在于，包括：

獲取待推理的數據集；

將所述待推理的數據集輸入到推理卷積內核，得到浮點型的數據推理結果；

獲取所述待推理的數據集對應的輸出縮放因子；其中，所述輸出縮放因子根據所述數據推理結果中的元素的最大值確定；

計算所述數據推理結果與所述輸出縮放因子的乘積，得到量化結果；

根據所述量化結果繼續深度學習模型的推理。

2.根據權利要求1所述的深度學習模型的推理方法，其特征在于，所述獲取所述待推理的數據集對應的輸出縮放因子，包括：

從所述數據推理結果的各個元素中，確定最大元素；

計算預設值與所述最大元素的商，得到所述輸出縮放因子；其中，所述預設值為所述待推理的數據集的數據類型對應的取值范圍的上限值。

3.根據權利要求1或2所述的深度學習模型的推理方法，其特征在于，所述將所述待推理的數據集輸入到推理卷積內核，得到浮點型的數據推理結果，包括：

獲取所述待推理的數據集對應的第一縮放因子；

獲取所述推理卷積內核對應的權重及所述權重對應的第二縮放因子；

獲取所述推理卷積內核的偏置；

根據所述待推理的數據集、所述第一縮放因子、所述權重、所述第二縮放因子和所述偏置，計算所述浮點型的數據推理結果。

4.根據權利要求3所述的深度學習模型的推理方法，其特征在于，所述根據所述待推理的數據集、所述第一縮放因子、所述權重、所述第二縮放因子和所述偏置，計算所述浮點型的數據推理結果，包括：

計算所述待推理的數據集與所述權重的乘積，得到第一中間結果；

利用所述第一中間結果除以所述第一縮放因子和所述第二縮放因子，得到所述第二中間結果；

計算所述第二中間結果和所述偏置的和，得到所述浮點型的數據推理結果。

5.根據權利要求3所述的深度學習模型的推理方法，其特征在于，所述獲取所述待推理的數據集對應的第一縮放因子，包括：

獲取所述待推理的數據集對應的浮點型的輸入數據集；

利用所述待推理的數據集除以所述浮點型的輸入數據集，得到所述第一縮放因子。

6.根據權利要求1所述的深度學習模型的推理方法，其特征在于，所述獲取待推理的數據集，包括:

從目標視頻中，確定當前視頻幀對應的待推理的數據集；

所述獲取所述待推理的數據集對應的輸出縮放因子，包括：

判斷所述當前視頻幀相對于上一視頻幀是否發生場景切換，得到判斷結果；

根據所述判斷結果，確定所述待推理的數據集對應的所述輸出縮放因子。

7.根據權利要求6所述的深度學習模型的推理方法，其特征在于，所述根據所述判斷結果，確定所述待推理的數據集對應的所述輸出縮放因子，包括：

如果所述判斷結果指示發生場景切換，則從所述數據推理結果的各個元素中，確定最大元素；計算預設值與所述最大元素的商，得到所述輸出縮放因子；其中，所述預設值為所述待推理的數據集的數據類型對應的取值范圍的上限值；

如果所述判斷結果指示未發生場景切換，則將所述待推理的數據集的上一個輸入數據集對應的輸出縮放因子，作為所述待推理的數據集的輸出縮放因子。

8.一種深度學習模型的推理裝置，其特征在于，包括：

第一獲取模塊，用于獲取待推理的數據集；

第一推理模塊，用于將所述待推理的數據集輸入到推理卷積內核，得到浮點型的數據推理結果；

第二獲取模塊，用于獲取所述待推理的數據集對應的輸出縮放因子；其中，所述輸出縮放因子根據所述數據推理結果中的元素的最大值確定；

量化模塊，用于計算所述數據推理結果與所述輸出縮放因子的乘積，得到量化結果；

第二推理模塊，用于根據所述量化結果繼續深度學習模型的推理。