[發(fā)明專利]用戶消費行為預(yù)測模型訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010093642.6
• 申請日: 2020-02-14
• 公開（公告）號: CN111311000B
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計）人: 王鑫;雅斯尼侯穆迪;馬哈市雷;帕特里克羅本特斯特;米珂拉市三塔;楊思逸
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N20/00;G06N10/00
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;劉芳

本申請公開了用戶消費行為預(yù)測模型訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)，涉及機器學(xué)習(xí)模型訓(xùn)練技術(shù)領(lǐng)域。通過從數(shù)據(jù)庫獲取訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)并映射為量子態(tài)；對于任一訓(xùn)練數(shù)據(jù)，采用量子計算處理器對所述預(yù)測模型進行訓(xùn)練，獲取所述預(yù)測模型的權(quán)重向量的量子態(tài)；對每一訓(xùn)練數(shù)據(jù)得到的權(quán)重向量的量子態(tài)，根據(jù)測試數(shù)據(jù)采用量子計算處理器進行測試得到訓(xùn)練后用戶消費行為的預(yù)測模型。通過將量子計算應(yīng)用到廣義線性模型的訓(xùn)練過程中，提高模型訓(xùn)練效率，保證模型精確度，使得廣義線性模型能夠有效的預(yù)測用戶消費行為。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及機器學(xué)習(xí)模型訓(xùn)練技術(shù)領(lǐng)域。

背景技術(shù)

廣義線性模型(Generalized linear model，GLM)是一種應(yīng)用靈活的線性回歸模型，它是機器學(xué)習(xí)中非常基礎(chǔ)且應(yīng)用廣泛的一種方法。廣義線性模型通過連接函數(shù)(linkfunction)來將實驗者所量測的隨機變量的數(shù)學(xué)期望值與線性組合的預(yù)測變量之間建立關(guān)系。其模型假設(shè)輸出y與各個輸入向量x在作用聯(lián)結(jié)函數(shù)后是線性關(guān)系，即y＝g(w·x)，其中g(shù)為逆連接函數(shù)(inverse link function，即連接函數(shù)的逆)，w·x是權(quán)重向量w與輸入向量x的內(nèi)積。廣義線性模型學(xué)習(xí)的技術(shù)問題核心就是在已知逆連接函數(shù)g的情況下，設(shè)計一個高效的方案通過訓(xùn)練集中的數(shù)據(jù)去學(xué)習(xí)權(quán)重向量w，使得誤差盡可能的小。

廣義線性模型在數(shù)據(jù)分析和金融建模方面都有著廣泛的應(yīng)用，例如可應(yīng)用于預(yù)測用戶消費行為的場景中，可在獲取用戶屬性特征和/或目標(biāo)物品屬性特征后，輸入到訓(xùn)練后的廣義線性模型，從而得到用戶消費行為的預(yù)測結(jié)果。而對于上述的廣義線性模型的訓(xùn)練，通常采用稀疏子法(Sparsitron)或GLMtron方法，其中稀疏子法是基于乘法加權(quán)算法(multiplicative weights algorithm)的一個機器學(xué)習(xí)算法，而GLMtron方法是一個利用了加法更新規(guī)則(additive update rules)的高效學(xué)習(xí)方法。

現(xiàn)有的稀疏子法運行速度較慢，嚴(yán)重影響廣義線性模型的訓(xùn)練效率，尤其是采用廣義線性模型預(yù)測用戶消費行為時由于輸入數(shù)據(jù)維度較高，訓(xùn)練速度較慢，訓(xùn)練過程耗時較長；而GLMtron方法采樣復(fù)雜度(sample complexity)不是最優(yōu)的，達(dá)到同樣精確度，比稀疏子法需要更多的采樣數(shù)量，即更大的訓(xùn)練集。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N用戶消費行為預(yù)測模型訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)，以提高廣義線性模型的訓(xùn)練效率，且保證模型精確度，從而使得廣義線性模型能夠應(yīng)用于預(yù)測用戶消費行為的場景中有效的進行用戶消費行為預(yù)測。

本申請第一個方面提供一種用戶消費行為的預(yù)測模型的訓(xùn)練方法，所述預(yù)測模型為廣義線性模型，所述方法包括：

從數(shù)據(jù)庫獲取訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，構(gòu)成訓(xùn)練集和測試集，并通過量子隨機存取存儲器將所述訓(xùn)練數(shù)據(jù)和所述測試數(shù)據(jù)映射為量子態(tài)，其中任一所述訓(xùn)練數(shù)據(jù)和所述測試數(shù)據(jù)包括多維度輸入特征向量以及對應(yīng)的用戶消費行為的標(biāo)注信息，所述多維度輸入特征包括用戶屬性特征和/或目標(biāo)物品屬性特征；

對于任一訓(xùn)練數(shù)據(jù)，采用量子計算處理器對所述預(yù)測模型進行訓(xùn)練，獲取所述預(yù)測模型的權(quán)重向量的量子態(tài)；

對于每一訓(xùn)練數(shù)據(jù)得到的權(quán)重向量的量子態(tài)，根據(jù)所述測試數(shù)據(jù)采用量子計算處理器進行測試，獲取每一訓(xùn)練數(shù)據(jù)得到的權(quán)重向量的量子態(tài)對應(yīng)的風(fēng)險值，根據(jù)所有風(fēng)險值中的最小值對應(yīng)的權(quán)重向量的量子態(tài)得到訓(xùn)練后用戶消費行為的預(yù)測模型。

在一種可能的設(shè)計中，所述對于任一訓(xùn)練數(shù)據(jù)，采用量子計算處理器對所述預(yù)測模型進行訓(xùn)練，獲取所述預(yù)測模型的權(quán)重向量的量子態(tài)，包括：

獲取預(yù)測模型的初始化的權(quán)重向量、初始化的損失函數(shù)值、初始化的損失量子門、預(yù)設(shè)的逆連接函數(shù)和學(xué)習(xí)速率參數(shù)；

對于任一訓(xùn)練數(shù)據(jù)，根據(jù)所述權(quán)重向量、所述損失函數(shù)值、所述逆連接函數(shù)、所述學(xué)習(xí)速率參數(shù)以及所述損失量子門，采用量子計算處理器更新?lián)p失函數(shù)值以及權(quán)重向量的量子態(tài)。