[發明專利]生成模型的方法、裝置、可讀存儲介質及電子設備

在審

• 申請號: 202010675753.8
• 申請日: 2020-07-14
• 公開（公告）號: CN111898484A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 白翔;張文慶;邱陽;柏松;姜仟藝;宋祺;劉曦;張睿;魏曉林
• 申請（專利權）人: 華中科技大學;北京三快在線科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賈會玲

本公開涉及一種生成模型的方法、裝置、可讀存儲介質及電子設備。方法包括：獲取初始模型的至少一個目標初始網絡層各自的初始參數矩陣和壓縮比例；針對每一目標初始網絡層，根據目標初始網絡層的初始參數矩陣和壓縮比例，對目標初始網絡層進行壓縮，以得到樣本模型；獲取樣本數據集；根據樣本數據集，對樣本模型進行訓練，以得到應用在樣本數據集所屬場景下的目標模型。如此，可以利用取值范圍為大于0小于1的壓縮比例對目標初始網絡層進行壓縮，使得壓縮后的目標樣本網絡層中的參數數量小于初始網絡層中的參數數量，進而減少了由目標樣本網絡層構成的樣本模型的參數數量，使得目標模型的體積較小，有效地改善了目標模型的性能。

技術領域

本公開涉及計算機技術領域，具體地，涉及一種生成模型的方法、裝置、可讀存儲介質及電子設備。

背景技術

近年來，大數據、云計算、物聯網、深度學習和人工智能等數據平臺和技術在互聯網、金融等領域取得了巨大的進展，廣泛應用于用戶畫像、產品推薦、商業運營等領域，然而生成這些推薦模型或者預測模型要求有充足的樣本數據作為支撐。

相關技術中，多是基于一組集中存儲的合成數據集進行訓練，而合成數據通常不能反映出真實場景，所以生成的模型精度不高。而如果采用真實的樣本數據生成模型，會產生以下問題：(1)模型的訓練缺乏大量的真實標注數據，并且數據的標注耗費大量的人力財力；(2)由于數據隱私性等限制，不同的數據擁有方之間不能夠直接共享數據，使得分散在各方的孤立的真實數據很難被集中有效利用，現有基于集中數據訓練的模型性能也由于數據的不足而受到限制。因此，在此情況下，聯邦學習技術應運而生，以在不直接共享數據的前提下，通過多端協同訓練生成的模型性能和直接共享數據訓練得到模型性能相近。

然而，通常情況下模型的參數量較大，在聯邦學習的過程中，會造成大量的通信負擔，降低模型生成效率，并且模型體積較大，導致所生成的模型的性能較差。

發明內容

本公開的目的是提供一種生成模型的方法、裝置、可讀存儲介質及電子設備，以解決上述技術問題。

為了實現上述目的，本公開第一方面提供一種生成模型的方法，包括：

獲取初始模型的至少一個目標初始網絡層各自的初始參數矩陣和壓縮比例；

針對每一所述目標初始網絡層，根據所述目標初始網絡層的初始參數矩陣和壓縮比例，對所述目標初始網絡層進行壓縮，以得到樣本模型，其中，壓縮比例為大于0小于1的數值，所述樣本模型中的、與所述目標初始網絡層對應的目標樣本網絡層中的參數數量小于所述目標初始網絡層的初始參數數量，所述初始參數數量是基于所述初始參數矩陣確定的；

獲取樣本數據集；

根據所述樣本數據集，對所述樣本模型進行訓練，以得到應用在所述樣本數據集所屬場景下的目標模型。

可選地，所述根據所述目標初始網絡層的初始參數矩陣和壓縮比例，對所述目標初始網絡層進行壓縮，以得到樣本模型，包括：

根據所述目標初始網絡層的初始參數矩陣和壓縮比例，確定壓縮后的參數向量；以及

根據所述目標初始網絡層的初始參數矩陣和壓縮比例，確定用于表征所述壓縮后的參數向量與壓縮后的虛擬網絡參數矩陣之間的映射關系的映射關系矩陣；

根據所述壓縮后的參數向量和所述映射關系矩陣，確定壓縮后的虛擬網絡參數矩陣；

根據所述壓縮后的虛擬網絡參數矩陣更新所述目標初始網絡層，以得到壓縮后的目標樣本網絡層；

根據壓縮得到的至少一個所述目標樣本網絡層和所述初始模型構建樣本模型。

可選地，所述根據所述目標初始網絡層的初始參數矩陣和壓縮比例，確定用于表征所述壓縮后的參數向量與壓縮后的虛擬網絡參數矩陣之間的映射關系的映射關系矩陣，包括：