[發(fā)明專利]一種個(gè)性化推薦方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910112704.0
• 申請(qǐng)日: 2019-02-13
• 公開(kāi)（公告）號(hào): CN109871485B
• 公開(kāi)（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 李建欣;邰振贏;包夢(mèng)蛟;閆昊;唐彬;彭浩
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06N3/04
• 代理公司: 北京中創(chuàng)陽(yáng)光知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11003
• 代理人: 尹振啟

1.一種個(gè)性化推薦方法，其特征在于，所述方法包括：

輸入樣本，并對(duì)樣本特征進(jìn)行重編碼處理，得到稀疏編碼；其中，所述樣本特征包括以下至少一種數(shù)據(jù)：用戶標(biāo)識(shí)、用戶性別、用戶年齡，以及以下至少一種數(shù)據(jù)：物品標(biāo)識(shí)、物品價(jià)格；將所述稀疏編碼輸入到相應(yīng)的嵌入層，經(jīng)所述嵌入層基于域敏感分解機(jī)FFM對(duì)所述稀疏編碼進(jìn)行運(yùn)算，得到稠密表示；基于標(biāo)注的推薦標(biāo)簽信息，使用梯度下降法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；將所述稠密表示輸入到神經(jīng)網(wǎng)絡(luò)的隱藏層，經(jīng)所述隱藏層對(duì)所述稠密表示進(jìn)行處理，得到推薦預(yù)測(cè)結(jié)果；

將所述稀疏編碼輸入到相應(yīng)的嵌入層，經(jīng)所述嵌入層基于域敏感分解機(jī)FFM對(duì)所述稀疏編碼進(jìn)行運(yùn)算，得到稠密表；嵌入層基于FFM對(duì)每個(gè)樣本特征的稀疏編碼處理后，得到的稠密表示包括f個(gè)k維度的向量，其中，所述f是域的個(gè)數(shù)，所述k是每個(gè)向量的維度；

基于所述推薦預(yù)測(cè)結(jié)果和推薦標(biāo)簽信息，計(jì)算交叉熵函數(shù)值；識(shí)別所述交叉熵函數(shù)值是否滿足預(yù)設(shè)條件，如果所述交叉熵函數(shù)值不滿足的預(yù)設(shè)條件，則基于所述交叉熵函數(shù)值，使用梯度下降法對(duì)所述神經(jīng)網(wǎng)絡(luò)的參數(shù)值進(jìn)行調(diào)整，然后迭代執(zhí)行獲得所述推薦預(yù)測(cè)結(jié)果的操作，直至所述交叉熵函數(shù)值滿足預(yù)設(shè)條件將所述稠密表示輸入到神經(jīng)網(wǎng)絡(luò)的隱藏層，經(jīng)所述隱藏層對(duì)所述稠密表示進(jìn)行處理，得到推薦預(yù)測(cè)結(jié)果；

所述對(duì)樣本特征進(jìn)行重編碼處理，得到稀疏編碼，包括：

對(duì)于類別類型的樣本特征，所述樣本特征本身為稀疏編碼；

對(duì)于數(shù)值類型的樣本特征，采用哈希算法對(duì)所述樣本特征進(jìn)行編碼，得到稀疏編碼；

對(duì)于連續(xù)值類型的樣本特征，采用等頻歸一化算法對(duì)所述樣本特征進(jìn)行編碼，得到稀疏編碼；

述隱藏層對(duì)所述稠密表示進(jìn)行處理，包括：

所述神經(jīng)網(wǎng)絡(luò)的隱藏層對(duì)每?jī)蓚€(gè)不同的樣本特征對(duì)應(yīng)的稠密表示采用對(duì)應(yīng)域的兩兩點(diǎn)積，然后將點(diǎn)積結(jié)果并聯(lián)；

所述將所述稠密表示輸入到神經(jīng)網(wǎng)絡(luò)的隱藏層，經(jīng)所述隱藏層對(duì)所述稠密表示進(jìn)行處理，得到推薦預(yù)測(cè)結(jié)果，包括：

識(shí)別所述交叉熵函數(shù)值是否滿足預(yù)設(shè)條件，如果所述交叉熵函數(shù)值不滿足的預(yù)設(shè)條件，則基于所述交叉熵函數(shù)值，使用梯度下降法對(duì)所述神經(jīng)網(wǎng)絡(luò)的參數(shù)值進(jìn)行調(diào)整，然后迭代執(zhí)行獲得所述推薦預(yù)測(cè)結(jié)果的操作，直至所述交叉熵函數(shù)值滿足預(yù)設(shè)條件；

所述梯度下降法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的具體方法為：

1）根據(jù)樣本特征的數(shù)量N、field的個(gè)數(shù)f和訓(xùn)練參數(shù)pa，生成初始化模型，即隨機(jī)生成模型的參數(shù)；

2）對(duì)每一輪迭代，如果隨機(jī)更新參數(shù)為真，隨機(jī)打亂訓(xùn)練樣本的順序；

3）對(duì)每一個(gè)訓(xùn)練樣本，執(zhí)行如下操作：

4）計(jì)算每一個(gè)樣本的輸入項(xiàng)，即獲取神經(jīng)網(wǎng)絡(luò)的輸入；

5）采用交叉熵函數(shù)作為損失函數(shù)計(jì)算每一個(gè)樣本的訓(xùn)練誤差；

6）利用單個(gè)樣本的損失函數(shù)計(jì)算梯度，再根據(jù)梯度更新模型參數(shù)；

7）對(duì)每一個(gè)驗(yàn)證樣本，計(jì)算樣本的神經(jīng)網(wǎng)絡(luò)輸出，計(jì)算驗(yàn)證誤差；

8）重復(fù)步驟4）~7），直到迭代結(jié)束或驗(yàn)證誤差達(dá)到最小。

2.一種個(gè)性化推薦裝置，其特征在于，所述裝置包括：

預(yù)處理模塊，用于對(duì)樣本特征進(jìn)行重編碼處理，得到稀疏編碼；其中，所述樣本特征包括以下至少一種數(shù)據(jù)：用戶標(biāo)識(shí)、用戶性別、用戶年齡，以及以下至少一種數(shù)據(jù)：物品標(biāo)識(shí)、物品價(jià)格；將所述稀疏編碼輸入到相應(yīng)的嵌入層，經(jīng)所述嵌入層基于域敏感分解機(jī)FFM對(duì)所述稀疏編碼進(jìn)行運(yùn)算，得到稠密表示；基于標(biāo)注的推薦標(biāo)簽信息，使用梯度下降法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；將所述稠密表示輸入到神經(jīng)網(wǎng)絡(luò)的隱藏層，經(jīng)所述隱藏層對(duì)所述稠密表示進(jìn)行處理，得到推薦預(yù)測(cè)結(jié)果；

處理模塊，用于嵌入層基于FFM對(duì)每個(gè)樣本特征的稀疏編碼處理后，得到的稠密表示包括f個(gè)k維度的向量，其中，所述f是域的個(gè)數(shù)，所述k是每個(gè)向量的維度；基于所述推薦預(yù)測(cè)結(jié)果和推薦標(biāo)簽信息，計(jì)算交叉熵函數(shù)值；識(shí)別所述交叉熵函數(shù)值是否滿足預(yù)設(shè)條件，如果所述交叉熵函數(shù)值不滿足的預(yù)設(shè)條件，則基于所述交叉熵函數(shù)值，使用梯度下降法對(duì)所述神經(jīng)網(wǎng)絡(luò)的參數(shù)值進(jìn)行調(diào)整，然后迭代執(zhí)行獲得所述推薦預(yù)測(cè)結(jié)果的操作，直至所述交叉熵函數(shù)值滿足預(yù)設(shè)條件；

所述預(yù)處理模塊，用于：

對(duì)于類別類型的樣本特征，所述樣本特征本身為稀疏編碼；

對(duì)于數(shù)值類型的樣本特征，采用哈希算法對(duì)所述樣本特征進(jìn)行編碼，得到稀疏編碼；

對(duì)于連續(xù)值類型的樣本特征，采用等頻歸一化算法對(duì)所述樣本特征進(jìn)行編碼，得到稀疏編碼；

所述處理模塊，用于通過(guò)所述神經(jīng)網(wǎng)絡(luò)的隱藏層對(duì)每?jī)蓚€(gè)不同的樣本特征對(duì)應(yīng)的稠密表示采用對(duì)應(yīng)域的兩兩點(diǎn)積，然后將點(diǎn)積結(jié)果并聯(lián)；所述處理模塊，還用于對(duì)特征進(jìn)行編碼處理，得到稀疏編碼；將所述稀疏編碼輸入到相應(yīng)的嵌入層，經(jīng)所述嵌入層基于FFM對(duì)所述稀疏編碼進(jìn)行運(yùn)算，得到稠密表示；將所述稠密表示輸入到神經(jīng)網(wǎng)絡(luò)的隱藏層，經(jīng)所述隱藏層對(duì)所述稠密表示進(jìn)行處理，得到推薦結(jié)果；

所述梯度下降法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的具體方法為：

1）根據(jù)樣本特征的數(shù)量N、field的個(gè)數(shù)f和訓(xùn)練參數(shù)pa，生成初始化模型，即隨機(jī)生成模型的參數(shù)；

2）對(duì)每一輪迭代，如果隨機(jī)更新參數(shù)為真，隨機(jī)打亂訓(xùn)練樣本的順序；

3）對(duì)每一個(gè)訓(xùn)練樣本，執(zhí)行如下操作：

4）計(jì)算每一個(gè)樣本的輸入項(xiàng)，即獲取神經(jīng)網(wǎng)絡(luò)的輸入；

5）采用交叉熵函數(shù)作為損失函數(shù)計(jì)算每一個(gè)樣本的訓(xùn)練誤差；

6）利用單個(gè)樣本的損失函數(shù)計(jì)算梯度，再根據(jù)梯度更新模型參數(shù)；

7）對(duì)每一個(gè)驗(yàn)證樣本，計(jì)算樣本的神經(jīng)網(wǎng)絡(luò)輸出，計(jì)算驗(yàn)證誤差；

8）重復(fù)步驟4）~7），直到迭代結(jié)束或驗(yàn)證誤差達(dá)到最小。