[發明專利]用于確定模型壓縮率的方法、設備和程序產品

在審

• 申請號: 202010125822.8
• 申請日: 2020-02-27
• 公開（公告）號: CN113313246A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 楊文彬;劉金鵬;王匯澤;李三平;賈真
• 申請（專利權）人: 伊姆西IP控股有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 羅利娜

1.一種用于確定模型壓縮率的方法，包括：

從與機器學習模型相關聯的重要性值集合中確定近零重要性值子集，所述重要性值集合中的相應重要性值指示所述機器學習模型的處理層的相應輸入的重要程度，所述近零重要性值子集中的重要性值相比于所述重要性值集合中的其他重要性值更接近零；

從所述近零重要性值子集中確定目標重要性值，所述目標重要性值對應于所述近零重要性值子集中重要性值幅度的轉折點；

確定所述重要性值集合中低于所述目標重要性值的重要性值占所述重要性值集合的比例；以及

基于所確定的比例來確定用于所述機器學習模型的壓縮率。

2.根據權利要求1所述的方法，其中確定所述近零重要性值子集包括：

確定所述重要性值集合的分布，所述分布呈現所述重要性值集合中相同重要性值出現的次數；以及

基于所述分布來確定所述近零重要性值子集。

3.根據權利要求1所述的方法，其中確定所述目標重要性值包括：

通過對所述近零重要性值子集中的重要性值執行對數變換，獲得對應的對數變換值集合；

從所述對數變換值集合中確定目標對數變換值，所述目標對數變換值對應于所述對數變換值集合中對數變換值幅度的轉折點；以及

確定所述目標對數變換值對應的所述重要性值集合中的重要性值，作為所述目標重要性值。

4.根據權利要求3所述的方法，其中所述對數變換值中比所述目標對數變換值小的第一對數變換值與比所述對數變換值大的第二對數變換值之間的第一差異大于以下兩個差異：

所述對數變換值集合中比所述目標對數變換值小的兩個對數變換值之間的第二差異，以及

所述對數變換值集合中比所述目標對數變換值大的兩個對數變換值之間的第三差異。

5.根據權利要求3所述的方法，其中所述對數變換包括大尺寸縮放對數投影LSLP。

6.根據權利要求3所述的方法，其中從所述對數變換值集合中確定目標對數變換值包括：

將所述對數變換值集合中的對數變換值按升序或降序排序；

確定排序后的對數變換值的變化趨勢；以及

基于所述變化趨勢確定所述目標對數變換值。

7.根據權利要求3所述的方法，其中從所述對數變換值集合中確定目標對數變換值包括：

基于自適應閾值分割算法來確定所述目標對數變換值。

8.根據權利要求1所述的方法，還包括：

基于所述壓縮率，通過模型剪枝來壓縮所述機器學習模型。

9.一種電子設備，包括：

至少一個處理器；以及

存儲有計算機程序指令的至少一個存儲器，所述至少一個存儲器和所述計算機程序指令被配置為，與所述至少一個處理器一起，使得所述電子設備執行動作，所述動作包括：

從與機器學習模型相關聯的重要性值集合中確定近零重要性值子集，所述重要性值集合中的相應重要性值指示所述機器學習模型的處理層的相應輸入的重要程度，所述近零重要性值子集中的重要性值相比于所述重要性值集合中的其他重要性值更接近零；

從所述近零重要性值子集中確定目標重要性值，所述目標重要性值對應于所述近零重要性值子集中重要性值幅度的轉折點；

確定所述重要性值集合中低于所述目標重要性值的重要性值占所述重要性值集合的比例；以及

基于所確定的比例來確定用于所述機器學習模型的壓縮率。

10.根據權利要求9所述的設備，其中確定所述近零重要性值子集包括：

確定所述重要性值集合的分布，所述分布呈現所述重要性值集合中相同重要性值出現的次數；以及

基于所述分布來確定所述近零重要性值子集。