[發(fā)明專利]一種視頻推薦系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910341302.8
• 申請(qǐng)日: 2019-04-25
• 公開(kāi)（公告）號(hào): CN110069714B
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 劉永才
• 申請(qǐng)（專利權(quán)）人: 北京酷我科技有限公司
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F16/68;G06F16/78
• 代理公司: 北京國(guó)標(biāo)律師事務(wù)所 11753
• 代理人: 姚克楓

1.一種視頻推薦系統(tǒng)，其特征在于，包括：

至少兩臺(tái)HTTP服務(wù)器http-server，作為系統(tǒng)接入入口，用于接收并處理推薦請(qǐng)求，并返回相應(yīng)的推薦數(shù)據(jù)，

HTTP服務(wù)器通過(guò)建桶，在桶中按需求添加推薦服務(wù)器，

由推薦服務(wù)器組成的推薦服務(wù)器集群，每個(gè)推薦服務(wù)器內(nèi)部邏輯分為：數(shù)據(jù)分發(fā)器Deliver Server，數(shù)據(jù)召回器Recall Server，數(shù)據(jù)過(guò)濾器Filter Server，

兩臺(tái)歷史服務(wù)器，采用主備模式，歷史服務(wù)器分兩類數(shù)據(jù)：

一類是模型中的數(shù)據(jù)，該類數(shù)據(jù)是從播放記錄中訓(xùn)練統(tǒng)計(jì)的數(shù)據(jù)，該數(shù)據(jù)包括歷史播放記錄、從記錄中統(tǒng)計(jì)的用戶分?jǐn)?shù)，

一類是實(shí)時(shí)數(shù)據(jù)，還沒(méi)有被訓(xùn)練成模型的數(shù)據(jù)，

兩臺(tái)召回池服務(wù)器，采用主備模式，起數(shù)據(jù)緩存功能，數(shù)據(jù)召回器將召回的數(shù)據(jù)存入召回池服務(wù)器，數(shù)據(jù)過(guò)濾器從召回池服務(wù)器中獲取數(shù)據(jù)；

數(shù)據(jù)分發(fā)器：接收http-server發(fā)送過(guò)來(lái)的請(qǐng)求信息，根據(jù)歷史服務(wù)器提供的用戶得分，來(lái)計(jì)算各個(gè)數(shù)據(jù)召回器要召回的數(shù)量，隨后向數(shù)據(jù)召回器發(fā)送數(shù)據(jù)召回請(qǐng)求，

數(shù)據(jù)召回器：接收數(shù)據(jù)分發(fā)器發(fā)送過(guò)來(lái)的數(shù)據(jù)請(qǐng)求，數(shù)據(jù)召回器分為:使用個(gè)性化模型的個(gè)性化召回器、使用流行模型的流行召回器和使用冷數(shù)據(jù)模型的冷數(shù)據(jù)召回器，

數(shù)據(jù)過(guò)濾器：數(shù)據(jù)分發(fā)器向數(shù)據(jù)召回器發(fā)送數(shù)據(jù)后，會(huì)通知數(shù)據(jù)過(guò)濾器有數(shù)據(jù)需要召回，則從召回池服務(wù)器中獲得所有數(shù)據(jù)并匯總，當(dāng)所有數(shù)據(jù)匯總后，通過(guò)redis隊(duì)列返回給http-server，并將召回的數(shù)據(jù)寫入歷史服務(wù)器；

所述數(shù)據(jù)分發(fā)器，從redis隊(duì)列中讀取HTTP服務(wù)器發(fā)送過(guò)來(lái)的請(qǐng)求信息，根據(jù)請(qǐng)求信息向history服務(wù)器獲取該用戶的打分；

根據(jù)用戶的打分來(lái)推送各種召回器數(shù)據(jù)的個(gè)數(shù)，具體包括：

判斷用戶類型，如果用戶的打分1，則用戶類型為冷用戶，否則為其他用戶，

針對(duì)冷用戶：

W_pop＝1，代表熱門數(shù)據(jù)推薦占比，用于命中高，全量推，

W_cf＝0，代表個(gè)性化召回推薦占比，用于發(fā)覺(jué)個(gè)性化長(zhǎng)尾，提高用戶體驗(yàn)，

W_cold＝0，代表冷數(shù)據(jù)推薦占比，用于提高多樣性，預(yù)熱數(shù)據(jù)，個(gè)性化信息不足時(shí)推，

針對(duì)其他用戶：

W_pop＝1-W_cold-W_cf，

W_cf＝min(∑score/160,1-W_cold-W_pop)，score為用戶的打分，W_cold＝0.125。

2.如權(quán)利要求1所述的視頻推薦系統(tǒng)，其特征在于：HTTP服務(wù)器負(fù)責(zé)數(shù)據(jù)分流，總的流量按100％劃分到每個(gè)桶，每個(gè)桶流量任意。

3.如權(quán)利要求1所述的視頻推薦系統(tǒng)，其特征在于：HTTP服務(wù)器負(fù)責(zé)AB策略測(cè)試，對(duì)桶設(shè)置不同的策略，桶中的推薦服務(wù)器則執(zhí)行這些策略，隨后進(jìn)行不同桶中數(shù)據(jù)之間的數(shù)據(jù)對(duì)比。

4.如權(quán)利要求1所述的視頻推薦系統(tǒng)，其特征在于：所述數(shù)據(jù)分發(fā)器Deliver Server，數(shù)據(jù)召回器Recall Server，數(shù)據(jù)過(guò)濾器Filter Server間使用redis來(lái)完成遠(yuǎn)程調(diào)用。

5.如權(quán)利要求1所述的視頻推薦系統(tǒng)，其特征在于：所述數(shù)據(jù)分發(fā)器Deliver Server，數(shù)據(jù)召回器Recall Server，數(shù)據(jù)過(guò)濾器Filter Server間采用并行處理，以實(shí)現(xiàn)低響應(yīng)時(shí)間。

6.如權(quán)利要求1所述的視頻推薦系統(tǒng)，其特征在于：在推薦服務(wù)器上，采用索引文件技術(shù)，直接將用戶的播放歷史，歌曲的相似度信息存儲(chǔ)到磁盤，以實(shí)現(xiàn)減少大量?jī)?nèi)存的占用。

7.如權(quán)利要求1所述的視頻推薦系統(tǒng)，其特征在于：建桶具體采用以下策略：

對(duì)服務(wù)器集群進(jìn)行分桶，桶中添加服務(wù)器，對(duì)桶進(jìn)行流量劃分，根據(jù)用戶ID計(jì)算1到100的哈希值，從而使用戶落到指定的桶中，桶中的服務(wù)或隨機(jī)選擇一個(gè)，或根據(jù)不同的策略來(lái)選擇一個(gè)。

8.如權(quán)利要求7所述的視頻推薦系統(tǒng)，其特征在于：當(dāng)資源不足時(shí)，采用以下策略：

添加新桶，桶中添加服務(wù)器，隨后分取流量；

在桶中配置推薦系統(tǒng)服務(wù)器redis的IP和port，以及密碼，隨后通過(guò)該配置連接推薦服務(wù)器。