[發明專利]用于確定模型壓縮率的方法、設備和程序產品

在審

• 申請號: 202010125822.8
• 申請日: 2020-02-27
• 公開（公告）號: CN113313246A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 楊文彬;劉金鵬;王匯澤;李三平;賈真
• 申請（專利權）人: 伊姆西IP控股有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 羅利娜

本公開的實施例提供用于確定模型壓縮率的方法、設備和程序產品。一種用于確定模型壓縮率的方法包括從與機器學習模型相關聯的重要性值集合確定近零重要性值子集，重要性值集合中的相應重要性值指示機器學習模型的處理層的相應輸入的重要程度，近零重要性值子集中的重要性值相比于重要性值集合中的其他重要性值更接近零；從近零重要性值子集中確定目標重要性值，目標重要性值對應于近零重要性值子集中重要性值幅度的轉折點；確定重要性值集合中低于目標重要性值的重要性值占重要性值集合的比例；以及基于所確定的比例來確定用于機器學習模型的壓縮率。根據該方案，不需要進行非常耗時的訓練過程就可以提前獲知在不損失模型性能前提下的最佳壓縮率。

技術領域

本公開的實施例涉及人工智能領域，并且更具體地，涉及用于確定模型壓縮率的方法、電子設備和計算機程序產品。

背景技術

人工智能技術近年來不斷得到發展并且當前已經被廣泛用于不同領域和實現中。機器學習模型可以被設計用于實現各種各樣的人工智能任務，包括計算機視覺處理、語音識別、自然語言處理等。已訓練的機器學習模型有時候需要被部署到具有處理和/或存儲能力有限的設備中，諸如終端設備、邊緣計算設備。機器學習模型的執行，特別是復雜或者被更精密配置的模型的執行將要求較高的處理和存儲資源。

發明內容

本公開的實施例提供了一種用于確定模型壓縮率的方案。

在本公開的第一方面，提供了一種用于確定模型壓縮率的方法。該方法包括從與機器學習模型相關聯的重要性值集合確定近零重要性值子集，重要性值集合中的相應重要性值指示機器學習模型的處理層的相應輸入的重要程度，近零重要性值子集中的重要性值相比于重要性值集合中的其他重要性值更接近零；從近零重要性值子集中確定目標重要性值，目標重要性值對應于近零重要性值子集中重要性值幅度的轉折點；確定重要性值集合中低于目標重要性值的重要性值占重要性值集合的比例；以及基于所確定的比例來確定用于機器學習模型的壓縮率。

在本公開的第二方面，提供了一種電子設備。該電子設備包括至少一個處理器；以及存儲有計算機程序指令的至少一個存儲器，至少一個存儲器和計算機程序指令被配置為，與至少一個處理器一起，使得電子設備執行動作。動作包括從與機器學習模型相關聯的重要性值集合確定近零重要性值子集，近零重要性值子集中的重要性值相比于重要性值集合中的其他重要性值更接近零；從近零重要性值子集中確定目標重要性值，目標重要性值對應于近零重要性值子集中重要性值幅度的轉折點；確定重要性值集合中低于目標重要性值的重要性值占重要性值集合的比例；以及基于所確定的比例來確定用于機器學習模型的壓縮率。

在本公開的第三方面，提供了一種計算機程序產品。該計算機程序產品被有形地存儲在非易失性計算機可讀介質上并且包括機器可執行指令，機器可執行指令在被執行時使設備實現以上第一方面的方法。

提供發明內容部分是為了簡化的形式來介紹對概念的選擇，它們在下文的具體實施方式中將被進一步描述。發明內容部分無意標識本公開的關鍵特征或主要特征，也無意限制本公開的范圍。

附圖說明

通過結合附圖對本公開示例性實施例進行更詳細的描述，本公開的上述以及其它目的、特征和優勢將變得更加明顯，其中，在本公開示例性實施例中，相同的參考標號通常代表相同部件。

圖1示出了本公開實施例可以在其中被實施的環境的示意圖；

圖2示出了指示模型準確度相對于模型剪枝率的模型剪枝性能曲線；

圖3示出了根據本公開的一些實施例的用于確定模型壓縮率的信令過程的流程圖；

圖4示出了根據本公開的一些實施例的機器學習模型的處理層和剪枝后的處理層的示例；

圖5A示出了根據本公開的一些實施例的機器學習模型的重要性值集合的分布的示例；

圖5B示出了根據本公開的一些實施例的對重要性值執行對數變換后的結果的示例；