[發明專利]模型參數表示空間大小估計方法及裝置、推薦方法

有效

• 申請號: 201910325428.6
• 申請日: 2019-04-22
• 公開（公告）號: CN110135465B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 王涌壯;徐宇輝;毛志成;袁鐿
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本公開的實施例提供了一種模型參數表示空間大小估計方法及裝置、推薦方法、計算機可讀介質及電子設備，屬于計算機技術領域。所述模型參數表示空間大小估計方法包括：獲取目標模型的目標參數向量；統計目標參數向量之間的距離分布；根據所述距離分布確定所述目標參數向量做聚類的目標閾值；根據所述目標閾值和目標參數向量之間的距離，估計所述目標模型的參數向量的表示空間大小。本公開實施例的技術方案提供了一種基于聚類的參數空間大小估計技術，為模型參數進行量化壓縮提供了定量標準，使調整這一參數的過程變得更為準確、高效和快速。

技術領域

本公開涉及計算機技術領域，具體而言，涉及一種模型參數表示空間大小估計方法、一種模型參數表示空間大小估計裝置、一種推薦方法、一種計算機可讀介質及電子設備。

背景技術

在大規模機器學習場景下，模型參數規模往往可達億級，模型大小可達百G級，這給模型的存儲、傳輸與使用都帶來了極大的挑戰。對模型參數進行量化壓縮是較為主流的模型壓縮方法之一，但是對壓縮比特數/量化比特數的選擇往往只能根據不同超參數(hyperparameters，例如學習速率、訓練迭代次數、神經網絡層數、各層神經元個數、激活函數等)下的實驗結果來選擇較為合適的值。

即相關技術中，量化比特數的選擇往往依賴經驗或者通過反復調參來選擇較為合適的值，調參過程復雜，驗證周期較長，計算量大，缺少快速尋找合適值的技術手段與理論依據。

因此，需要一種新的模型參數表示空間大小估計方法及裝置、推薦方法、計算機可讀介質及電子設備。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開實施例提供一種模型參數表示空間大小估計方法及裝置、推薦方法、計算機可讀介質及電子設備，能夠為模型參數進行量化壓縮提供定量標準，使調整這一參數的過程變得更為準確、快速和高效。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的一個方面，提供一種模型參數表示空間大小估計方法，包括：獲取目標模型的目標參數向量；統計目標參數向量之間的距離分布；根據所述距離分布確定所述目標參數向量做聚類的目標閾值；根據所述目標閾值和目標參數向量之間的距離，估計所述目標模型的參數向量的表示空間大小。

在本公開的一種示例性實施例中，獲取目標模型的目標參數向量，包括：在多臺服務器上并行訓練所述目標模型，以使所述目標模型達到穩定狀態；在每臺服務器上單獨保存一個模型分片；采樣所述多臺服務器中的其中一個模型分片，將采樣的模型分片的參數向量作為所述目標參數向量。

在本公開的一種示例性實施例中，統計目標參數向量之間的距離分布，包括：統計目標參數向量之間的距離的第一分布；根據不同閾值分別對目標參數向量做聚類；分別統計根據不同閾值做聚類后的目標參數向量之間的距離的第二分布。

在本公開的一種示例性實施例中，根據所述距離分布確定所述目標參數向量做聚類的目標閾值，包括：分別計算不同閾值下所述第一分布和所述第二分布的相對熵，獲得相對熵隨閾值變化曲線；根據所述相對熵閾值變化曲線確定所述目標閾值。

在本公開的一種示例性實施例中，根據所述相對熵閾值變化曲線確定所述目標閾值，包括：獲得所述相對熵閾值變化曲線的一階導數曲線；獲取所述一階導數曲線的平滑階段；選取所述平滑階段對應的閾值作為所述目標閾值。

在本公開的一種示例性實施例中，根據所述目標閾值和目標參數向量之間的距離，估計所述目標模型的參數向量的表示空間大小，包括：統計目標參數向量之間的距離小于所述目標閾值的比例；根據所述比例估計所述表示空間大小。

在本公開的一種示例性實施例中，根據以下公式估計所述表示空間大小K：