[發(fā)明專利]模型參數(shù)表示空間大小估計(jì)方法及裝置、推薦方法

有效

• 申請?zhí)枺?/td>: 201910325428.6
• 申請日: 2019-04-22
• 公開（公告）號(hào): CN110135465B
• 公開（公告）日: 2022-12-09
• 發(fā)明（設(shè)計(jì)）人: 王涌壯;徐宇輝;毛志成;袁鐿
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N20/00
• 代理公司: 深圳市聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

1.一種模型參數(shù)表示空間大小估計(jì)方法，其特征在于，包括：

獲取目標(biāo)模型的目標(biāo)參數(shù)向量；

統(tǒng)計(jì)目標(biāo)參數(shù)向量之間的距離分布；

根據(jù)所述距離分布確定所述目標(biāo)參數(shù)向量做聚類的目標(biāo)閾值；

根據(jù)所述目標(biāo)閾值和目標(biāo)參數(shù)向量之間的距離，估計(jì)所述目標(biāo)模型的參數(shù)向量的表示空間大小；

其中，獲取目標(biāo)模型的目標(biāo)參數(shù)向量，包括：

在多臺(tái)服務(wù)器上并行訓(xùn)練所述目標(biāo)模型，以使所述目標(biāo)模型達(dá)到穩(wěn)定狀態(tài)；

在每臺(tái)服務(wù)器上保存所述目標(biāo)模型的部分模型參數(shù)；

采樣所述多臺(tái)服務(wù)器中的全部服務(wù)器上的模型參數(shù)或部分服務(wù)器上的部分模型參數(shù)作為所述目標(biāo)參數(shù)向量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，統(tǒng)計(jì)目標(biāo)參數(shù)向量之間的距離分布，包括：

統(tǒng)計(jì)目標(biāo)參數(shù)向量之間的距離的第一分布；

根據(jù)不同閾值分別對(duì)目標(biāo)參數(shù)向量做聚類；

分別統(tǒng)計(jì)根據(jù)不同閾值做聚類后的目標(biāo)參數(shù)向量之間的距離的第二分布。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述距離分布確定所述目標(biāo)參數(shù)向量做聚類的目標(biāo)閾值，包括：

分別計(jì)算不同閾值下所述第一分布和所述第二分布的相對(duì)熵，獲得相對(duì)熵隨閾值變化曲線；

根據(jù)所述相對(duì)熵閾值變化曲線確定所述目標(biāo)閾值。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述相對(duì)熵閾值變化曲線確定所述目標(biāo)閾值，包括：

獲得所述相對(duì)熵閾值變化曲線的一階導(dǎo)數(shù)曲線；

獲取所述一階導(dǎo)數(shù)曲線的平滑階段；

選取所述平滑階段對(duì)應(yīng)的閾值作為所述目標(biāo)閾值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述目標(biāo)閾值和目標(biāo)參數(shù)向量之間的距離，估計(jì)所述目標(biāo)模型的參數(shù)向量的表示空間大小，包括：

統(tǒng)計(jì)目標(biāo)參數(shù)向量之間的距離小于所述目標(biāo)閾值的比例；

根據(jù)所述比例估計(jì)所述表示空間大小。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)以下公式估計(jì)所述表示空間大小K：

上述公式中，p為所述比例。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)模型包括嵌入層和深度神經(jīng)網(wǎng)絡(luò)；所述方法還包括：

獲取所述嵌入層的長度；

根據(jù)所述嵌入層的長度和所述表示空間大小確定所述嵌入層的參數(shù)向量的量化比特?cái)?shù)。

8.一種推薦方法，其特征在于，包括：

獲取目標(biāo)客戶端的當(dāng)前用戶特征和當(dāng)前信息特征；

通過基于深度學(xué)習(xí)的目標(biāo)模型對(duì)所述當(dāng)前用戶特征和所述當(dāng)前信息特征進(jìn)行處理，獲得推薦信息以發(fā)送至所述目標(biāo)客戶端；

其中，所述目標(biāo)模型的參數(shù)向量根據(jù)估計(jì)的表示空間大小進(jìn)行量化壓縮，利用如權(quán)利要求1至7任一項(xiàng)所述的方法估計(jì)所述目標(biāo)模型的參數(shù)向量的表示空間大小。

9.一種模型參數(shù)表示空間大小估計(jì)裝置，其特征在于，包括：

目標(biāo)參數(shù)獲取模塊，配置為獲取目標(biāo)模型的目標(biāo)參數(shù)向量；

距離分布統(tǒng)計(jì)模塊，配置為統(tǒng)計(jì)目標(biāo)參數(shù)向量之間的距離分布；

目標(biāo)閾值確定模塊，配置為根據(jù)所述距離分布確定所述目標(biāo)參數(shù)向量做聚類的目標(biāo)閾值；

空間大小估計(jì)模塊，配置為根據(jù)所述目標(biāo)閾值和目標(biāo)參數(shù)向量之間的距離，估計(jì)所述目標(biāo)模型的參數(shù)向量的表示空間大??；

其中，所述目標(biāo)參數(shù)獲取模塊包括：

模型訓(xùn)練單元，配置為在多臺(tái)服務(wù)器上并行訓(xùn)練所述目標(biāo)模型，以使所述目標(biāo)模型達(dá)到穩(wěn)定狀態(tài)；

參數(shù)存儲(chǔ)單元，配置為在每臺(tái)服務(wù)器上保存所述目標(biāo)模型的部分模型參數(shù)；

參數(shù)采樣單元，配置為采樣所述多臺(tái)服務(wù)器中的全部服務(wù)器上的模型參數(shù)或部分服務(wù)器上的部分模型參數(shù)作為所述目標(biāo)參數(shù)向量。