[發明專利]生成模型的方法、裝置、可讀存儲介質及電子設備

在審

• 申請號: 202010675753.8
• 申請日: 2020-07-14
• 公開（公告）號: CN111898484A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 白翔;張文慶;邱陽;柏松;姜仟藝;宋祺;劉曦;張睿;魏曉林
• 申請（專利權）人: 華中科技大學;北京三快在線科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賈會玲

1.一種生成模型的方法，其特征在于，所述方法包括：

獲取初始模型的至少一個目標初始網絡層各自的初始參數矩陣和壓縮比例；

針對每一所述目標初始網絡層，根據所述目標初始網絡層的初始參數矩陣和壓縮比例，對所述目標初始網絡層進行壓縮，以得到樣本模型，其中，壓縮比例為大于0小于1的數值，所述樣本模型中的、與所述目標初始網絡層對應的目標樣本網絡層中的參數數量小于所述目標初始網絡層的初始參數數量，所述初始參數數量是基于所述初始參數矩陣確定的；

獲取樣本數據集；

根據所述樣本數據集，對所述樣本模型進行訓練，以得到應用在所述樣本數據集所屬場景下的目標模型。

2.根據權利要求1所述的方法，其特征在于，所述根據所述目標初始網絡層的初始參數矩陣和壓縮比例，對所述目標初始網絡層進行壓縮，以得到樣本模型，包括：

根據所述目標初始網絡層的初始參數矩陣和壓縮比例，確定壓縮后的參數向量；以及

根據所述目標初始網絡層的初始參數矩陣和壓縮比例，確定用于表征所述壓縮后的參數向量與壓縮后的虛擬網絡參數矩陣之間的映射關系的映射關系矩陣；

根據所述壓縮后的參數向量和所述映射關系矩陣，確定壓縮后的虛擬網絡參數矩陣；

根據所述壓縮后的虛擬網絡參數矩陣更新所述目標初始網絡層，以得到壓縮后的目標樣本網絡層；

根據壓縮得到的至少一個所述目標樣本網絡層和所述初始模型構建樣本模型。

3.根據權利要求2所述的方法，其特征在于，所述根據所述目標初始網絡層的初始參數矩陣和壓縮比例，確定用于表征所述壓縮后的參數向量與壓縮后的虛擬網絡參數矩陣之間的映射關系的映射關系矩陣，包括：

根據哈希函數和隨機種子，對已知數組進行隨機排序以生成第一隨機排序向量，其中，所述已知數組中的元素數量為所述目標初始網絡層的初始參數數量，且數組中的每一元素的取值范圍為0到T0-1，其中，T0為所述初始參數數量；

對所述第一隨機排序向量中的每一元素與所述壓縮比例的乘積結果向下取整，以得到第二隨機排序向量；

根據所述第二隨機排序向量和所述初始參數矩陣，生成用于表征所述壓縮后的參數向量與壓縮后的虛擬網絡參數矩陣之間的映射關系的映射關系矩陣。

4.根據權利要求2所述的方法，其特征在于，所述根據所述目標初始網絡層的初始參數矩陣和壓縮比例，確定壓縮后的參數向量，包括：

根據所述目標初始網絡層的初始參數矩陣，確定所述目標初始網絡層的初始參數數量；

根據所述初始參數數量與所述壓縮比例的乘積，確定壓縮后的參數向量中的參數數量，其中，所述壓縮后的參數向量中每一參數的數值的初始值均是隨機生成的。

5.根據權利要求1所述的方法，其特征在于，所述初始模型中的至少一部分網絡層采用輕量級網絡，其中，所述至少一部分網絡層包括：用于提取特征的網絡層，和/或，用于解碼特征的網絡層。

6.根據權利要求1-5中任一項所述方法，其特征在于，所述方法應用于對所述樣本模型進行協同訓練的多個客戶端中的每一客戶端。