[發(fā)明專利]一種視頻推薦方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710687544.3
• 申請(qǐng)日: 2017-08-11
• 公開（公告）號(hào): CN107515909B
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 張桐;劉海寶;汪念
• 申請(qǐng)（專利權(quán)）人: 深圳市云網(wǎng)拜特科技有限公司
• 主分類號(hào): G06F16/78
• 分類號(hào): G06F16/78;G06N3/04;G06N3/08
• 代理公司: 深圳市順天達(dá)專利商標(biāo)代理有限公司 44217
• 代理人: 李琴

1.一種視頻推薦方法，其特征在于，包括：

采集用戶信息數(shù)據(jù)、視頻信息數(shù)據(jù)和用戶觀看視頻所產(chǎn)生的行為信息數(shù)據(jù)；

根據(jù)所采集的數(shù)據(jù)建立因子分解機(jī)模型，并訓(xùn)練強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型；

獲取用戶截止到當(dāng)前所觀看視頻的歷史行為信息數(shù)據(jù)，并根據(jù)所述歷史行為信息數(shù)據(jù)，基于所述因子分解機(jī)模型和訓(xùn)練后的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，獲得用戶的推薦視頻；

記錄用戶對(duì)所述推薦視頻的實(shí)際反饋信息，并根據(jù)所述實(shí)際反饋信息優(yōu)化所述因子分解機(jī)模型和所述訓(xùn)練后的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型；

其中，所述根據(jù)所采集的數(shù)據(jù)建立因子分解機(jī)模型，并訓(xùn)練強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，具體包括：

根據(jù)所采集的數(shù)據(jù)求解用戶與視頻之間的隱形因子特征，并根據(jù)所述隱形因子特征建立所述因子分解機(jī)模型；

將所采集的行為信息數(shù)據(jù)輸入至所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型和所述因子分解機(jī)模型，計(jì)算獲得一個(gè)獎(jiǎng)勵(lì)期望值最大的訓(xùn)練視頻；

根據(jù)預(yù)先建立的預(yù)測(cè)評(píng)分矩陣，計(jì)算用戶觀看所述獎(jiǎng)勵(lì)期望值最大的訓(xùn)練視頻的獎(jiǎng)勵(lì)值，并將用戶的觀看行為數(shù)據(jù)添加到所述行為信息數(shù)據(jù)中；

根據(jù)所述行為信息數(shù)據(jù)、所述獎(jiǎng)勵(lì)值、所述觀看行為數(shù)據(jù)和添加后的行為信息數(shù)據(jù)，更新強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)權(quán)值參數(shù)，以更新所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型；

將所述添加后的行為信息數(shù)據(jù)輸入至更新后的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型和所述因子分解機(jī)模型，以繼續(xù)更新所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)權(quán)值參數(shù)，直到完成所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練為止；

其中，所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型包括動(dòng)作Actor網(wǎng)絡(luò)和評(píng)價(jià)者Critic網(wǎng)絡(luò)；

所述將所采集的行為信息數(shù)據(jù)輸入至所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型和所述因子分解機(jī)模型，計(jì)算獲得一個(gè)獎(jiǎng)勵(lì)期望值最大的訓(xùn)練視頻，進(jìn)一步具體包括：

將所采集的行為信息數(shù)據(jù)輸入至所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，由所述Actor網(wǎng)絡(luò)輸出一個(gè)訓(xùn)練初始推薦視頻；

將所述行為信息數(shù)據(jù)和所述訓(xùn)練初始推薦視頻輸入至所述因子分解機(jī)模型，獲得訓(xùn)練視頻推薦集合；

將所述訓(xùn)練視頻推薦集合返回至所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，由所述Critic網(wǎng)絡(luò)計(jì)算輸出一個(gè)獎(jiǎng)勵(lì)期望值最大的訓(xùn)練視頻。

2.如權(quán)利要求1所述的視頻推薦方法，其特征在于，所述根據(jù)所述歷史行為信息數(shù)據(jù)，基于所述因子分解機(jī)模型和訓(xùn)練后的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，獲得用戶的推薦視頻，具體包括：

將所述歷史行為信息數(shù)據(jù)輸入至所述訓(xùn)練后的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，由所述Actor網(wǎng)絡(luò)輸出一個(gè)初始推薦視頻；

將所述歷史行為信息數(shù)據(jù)和所述初始推薦視頻輸入至所述因子分解機(jī)模型，獲得預(yù)視頻推薦集合；

將所述預(yù)視頻推薦集合返回至所述訓(xùn)練后的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，由所述Critic網(wǎng)絡(luò)輸出一個(gè)獎(jiǎng)勵(lì)期望值最大的視頻；

根據(jù)預(yù)先建立的狀態(tài)概率轉(zhuǎn)移矩陣模擬判斷用戶是否觀看所述獎(jiǎng)勵(lì)期望值最大的視頻；

若判定用戶觀看所述獎(jiǎng)勵(lì)期望值最大的視頻，則將所述獎(jiǎng)勵(lì)期望值最大的視頻作為用戶的推薦視頻。

3.如權(quán)利要求2所述的視頻推薦方法，其特征在于，在所述將所述獎(jiǎng)勵(lì)期望值最大的視頻作為用戶的推薦視頻之后，還包括：

將所述推薦視頻添加到所述歷史行為信息數(shù)據(jù)中，并根據(jù)添加后的歷史行為信息數(shù)據(jù)，基于所述因子分解機(jī)模型和所述訓(xùn)練后的強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，繼續(xù)獲取用戶的推薦視頻，直到獲取預(yù)設(shè)數(shù)量的推薦視頻為止。

4.如權(quán)利要求2所述的視頻推薦方法，其特征在于，在所述根據(jù)所采集的數(shù)據(jù)建立因子分解機(jī)模型，并訓(xùn)練強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型之前，還包括：

根據(jù)所采集的視頻信息數(shù)據(jù)，計(jì)算視頻與視頻之間的相似性，獲得視頻相似矩陣；

根據(jù)所述視頻相似矩陣，建立狀態(tài)概率轉(zhuǎn)移矩陣；

根據(jù)用戶觀看視頻所產(chǎn)生的行為信息數(shù)據(jù)，獲得用戶對(duì)視頻的評(píng)分矩陣；

根據(jù)所述狀態(tài)概率轉(zhuǎn)移矩陣和所述評(píng)分矩陣，建立所有用戶對(duì)所有視頻的預(yù)測(cè)評(píng)分矩陣。

5.如權(quán)利要求1所述的視頻推薦方法，其特征在于，在所述根據(jù)所采集的數(shù)據(jù)建立因子分解機(jī)模型，并訓(xùn)練強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型之前，還包括：

對(duì)所采集的數(shù)據(jù)進(jìn)行清洗和入庫，以將所采集的數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，并存入數(shù)據(jù)庫。