[發(fā)明專利]用戶畫像生成方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011118110.X
• 申請日: 2020-10-19
• 公開（公告）號: CN112256961A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計）人: 夏婧;吳振宇;王建明
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06K9/62;G06Q30/02
• 代理公司: 深圳市明日今典知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44343
• 代理人: 王杰輝;曹勇

1.一種用戶畫像生成方法，其特征在于，所述方法包括：

獲取目標(biāo)用戶的狀態(tài)特征時間序列及購買行為時間序列，所述購買行為時間序列攜帶有所述目標(biāo)用戶購買產(chǎn)品的產(chǎn)品標(biāo)識；

從預(yù)設(shè)的模型庫中查找與所述產(chǎn)品標(biāo)識對應(yīng)的行為預(yù)測模型，其中，所述行為預(yù)測模型是基于馬爾科夫決策過程及最大似然逆強化學(xué)習(xí)得到的模型；

將所述狀態(tài)特征時間序列及所述購買行為時間序列輸入到所述與所述產(chǎn)品標(biāo)識對應(yīng)的行為預(yù)測模型進行概率預(yù)測得到所述目標(biāo)用戶的行為預(yù)測數(shù)據(jù)；根據(jù)所述行為預(yù)測數(shù)據(jù)，確定所述目標(biāo)用戶的畫像。

2.根據(jù)權(quán)利要求1所述的用戶畫像生成方法，其特征在于，所述從預(yù)設(shè)的模型庫中查找與所述產(chǎn)品標(biāo)識對應(yīng)的行為預(yù)測模型的步驟之前，還包括：

獲取多個典型用戶的樣本數(shù)據(jù)，其中，所述樣本數(shù)據(jù)攜帶有所述典型用戶購買產(chǎn)品的產(chǎn)品標(biāo)識；

基于馬爾可夫決策過程確定所述樣本數(shù)據(jù)的效用函數(shù)集合；

對所述效用函數(shù)集合進行最大似然逆強化學(xué)習(xí)得到所述行為預(yù)測模型，所述行為預(yù)測模型攜帶有所述產(chǎn)品標(biāo)識。

3.根據(jù)權(quán)利要求2所述的用戶畫像生成方法，其特征在于，所述獲取多個典型用戶的樣本數(shù)據(jù)，包括：

獲取多個典型用戶的歷史數(shù)據(jù)，所述歷史數(shù)據(jù)包括：典型用戶的狀態(tài)特征數(shù)據(jù)、典型用戶的購買行為數(shù)據(jù)，所述典型用戶的購買行為數(shù)據(jù)攜帶有所述典型用戶購買產(chǎn)品的產(chǎn)品標(biāo)識；

對所述典型用戶的狀態(tài)特征數(shù)據(jù)進行時間序列構(gòu)建得到所述典型用戶狀態(tài)特征時間序列的樣本數(shù)據(jù)；

按所述產(chǎn)品標(biāo)識對所述典型用戶購買行為數(shù)據(jù)進行時間序列構(gòu)建，得到所述典型用戶購買行為時間序列的樣本數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的用戶畫像生成方法，其特征在于，所述樣本數(shù)據(jù)包括：典型用戶的狀態(tài)特征時間序列和購買行為時間序列，所述典型用戶的購買行為時間序列攜帶有所述典型用戶購買產(chǎn)品的產(chǎn)品標(biāo)識；所述基于馬爾可夫決策過程確定所述樣本數(shù)據(jù)的效用函數(shù)集合的步驟，包括：

獲取由所述典型用戶的狀態(tài)特征時間序列和購買行為時間序列確定得到的最大價值行為計算公式；

采用動態(tài)規(guī)劃方法迭代對所述最大價值行為計算公式進行優(yōu)化求解，得到目標(biāo)最大價值行為計算公式；

從所述目標(biāo)最大價值行為計算公式中提取效用函數(shù)并將提取的多個效用函數(shù)組合為所述效用函數(shù)集合。

5.根據(jù)權(quán)利要求2所述的用戶畫像生成方法，其特征在于，所述對所述效用函數(shù)集合進行最大似然逆強化學(xué)習(xí)得到所述行為預(yù)測模型的步驟，包括：

對所述效用函數(shù)集合中的效用函數(shù)進行線性疊加，得到待估計個人效用函數(shù)；

采用softmax函數(shù)對所述待估計個人效用函數(shù)進行歸一化處理，得到歸一化個人效用函數(shù)；

采用最大熵逆強化學(xué)習(xí)方法對所述歸一化個人效用函數(shù)進行參數(shù)估計，得到所述行為預(yù)測模型。

6.根據(jù)權(quán)利要求5所述的用戶畫像生成方法，其特征在于，所述采用最大熵逆強化學(xué)習(xí)方法對所述歸一化個人效用函數(shù)進行參數(shù)估計，得到所述行為預(yù)測模型的步驟，包括：

假設(shè)存在一個潛在概率分布，在該概率分布下，產(chǎn)生專家軌跡，已知條件為：

其中，f表示特征期望(在這里指每一種產(chǎn)品給客戶帶來的期望效用值，也就是所述待估計個人效用函數(shù)U_agent)，是專家特征期望(多種產(chǎn)品給客戶帶來的加權(quán)效用值)，為每種產(chǎn)品被選中的概率(也就是所述待估計個人效用函數(shù)U_agent中的w₁,w₂,w₃,……w_n)，將問題轉(zhuǎn)化為標(biāo)準(zhǔn)型，成為求解熵最大時的最優(yōu)問題：

s.t.∑w＝1

其中，plogp表示一個隨機變量的熵；是求最大值；S.t.后面是計算的限制條件；

通過拉格朗日乘子法：

求解后，對概率w進行微分計算，得到最大熵概率為：

其中，exp()高等數(shù)學(xué)里以自然常數(shù)e為底的指數(shù)函數(shù)；參數(shù)λ_j對應(yīng)著拉格朗日乘子，該參數(shù)可以利用最大似然法求解；f_j指每j種產(chǎn)品給客戶帶來的期望效用值。