[發明專利]一種校準方法、裝置、終端設備及存儲介質

在審

• 申請號: 202010747179.2
• 申請日: 2020-07-29
• 公開（公告）號: CN111915017A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 李康;丁瑞強;李涵
• 申請（專利權）人: 北京靈汐科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明公開了一種校準方法、裝置、終端設備及存儲介質。所述方法包括：確定模型中每個待校準層的層屬性信息；根據各所述層屬性信息和可用資源信息，確定對應待校準層的分組信息；根據所述分組信息對所述待校準層進行分組校準。利用該方法，在可用資源能夠支持的前提下，對所有待校準層進行合理分組，使得一次校準操作同時校準多個層，進而減少校準操作的次數，充分利用計算資源，從而提升了模型校準時的計算速度。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種校準方法、裝置、終端設備及存儲介質。

背景技術

模型量化是深度學習領域一種常用的技術，通過將模型參數和輸入從高精度量化為低精度，如從float32量化為int8，可以提高模型運算速度并減小模型大小。

為了降低模型量化過程中精度的損失，需要對模型進行校準，以獲取需要量化的數值的動態范圍，進而得到量化因子，其中量化因子是由動態范圍計算獲得的。

目前的校準算法中，通常是按照模型中數據輸入的方向，對模型的各層逐層進行校準，每次規定計算一層或相鄰的多層，從而導致模型校準時計算速度慢的技術問題。

發明內容

本發明實施例提供了一種校準方法、裝置、終端設備及存儲介質，提升了模型校準時的計算速度。

第一方面，本發明實施例提供了一種校準方法，包括：

確定模型中每個待校準層的層屬性信息；

根據各所述層屬性信息和可用資源信息，確定對應待校準層的分組信息；

根據所述分組信息對所述待校準層進行分組校準。

進一步地，所述根據各所述層屬性信息和可用資源信息，確定對應待校準層的分組信息，包括：

將所述待校準層按照所需內存信息從大到小的順序，依次確定目標層；

確定所述目標層的分組信息；

重新確定目標層，直至所述模型中各所述待校準層的分組信息均確定完成。

進一步地，所述確定所述目標層的分組信息，包括：

判斷所述目標層是否為所需內存信息最大的待校準層；

若是，則將預設的分組信息確定為所述目標層的分組信息；

若否，根據所述目標層的層屬性信息、所選取待校準層的層屬性信息、所選取待校準層的分組信息和可用資源信息確定所述目標層的分組信息，其中，所選取待校準層為已分組的待校準層。

進一步地，所述根據所述目標層的層屬性信息、所選取待校準層的層屬性信息、所選取待校準層的分組信息和可用資源信息確定所述目標層的分組信息，包括：

根據所選取待校準層中分組信息相同的各待校準層的層屬性信息，確定每個分組信息對應的組屬性信息；

根據所確定的組屬性信息、所述目標層的層屬性信息和可用資源信息，確定所述目標層的分組信息。

進一步地，所述組屬性信息包括的當前內存信息和當前時長信息。

進一步地，所述根據所選取待校準層中分組信息相同的各待校準層的層屬性信息，確定每個分組信息對應的組屬性信息，包括：

將所選取待校準層中分組信息相同的各待校準層的所需內存信息的和，確定為所對應分組信息的當前內存信息；

將所選取待校準層中分組信息相同的各待校準層的所需時長信息的最大值，確定為所對應分組信息的當前時長信息。

進一步地，所述根據所確定的組屬性信息、所述目標層的層屬性信息和可用資源信息，確定所述目標層的分組信息，包括：