[發(fā)明專利]排序數(shù)據(jù)的處理方法、裝置及存儲介質(zhì)、服務(wù)器

在審

• 申請?zhí)枺?/td>: 201910894036.1
• 申請日: 2019-09-20
• 公開（公告）號: CN110781217A
• 公開（公告）日: 2020-02-11
• 發(fā)明（設(shè)計）人: 陳志偉
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/248;G06Q30/06
• 代理公司: 11330 北京市立方律師事務(wù)所
• 代理人: 劉延喜

本發(fā)明涉及數(shù)據(jù)分析、關(guān)系網(wǎng)絡(luò)分析、智能推薦技術(shù)領(lǐng)域，本申請實施例提供的一種排序數(shù)據(jù)的處理方法，包括：獲取用戶信息以及商品信息，對用戶信息和商品信息進(jìn)行轉(zhuǎn)碼，得到推薦排序參數(shù)，將推薦排序參數(shù)緩存到redis中，形成批處理的推薦排序參數(shù)數(shù)據(jù)集；從redis中獲取并切分該批處理的推薦排序參數(shù)數(shù)據(jù)集，形成若干子推薦排序參數(shù)數(shù)據(jù)集；建立各線程與各子推薦排序參數(shù)數(shù)據(jù)集的關(guān)聯(lián)關(guān)系，通過線程請求數(shù)據(jù)流服務(wù)器分別計算各子推薦排序參數(shù)數(shù)據(jù)集中的推薦排序參數(shù)進(jìn)行計算，并對商品進(jìn)行排序。通過對數(shù)據(jù)提前轉(zhuǎn)碼并緩存，減少精排過程中數(shù)據(jù)計算過程，并加快了數(shù)據(jù)讀取速率；對數(shù)據(jù)切分之后，能合理分配各線程處理數(shù)據(jù)的量，均衡各線程的網(wǎng)絡(luò)開銷。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析、關(guān)系網(wǎng)絡(luò)分析、智能推薦技術(shù)領(lǐng)域，具體涉及一種排序數(shù)據(jù)的處理方法、裝置及存儲介質(zhì)、服務(wù)器。

背景技術(shù)

推薦系統(tǒng)為對用戶的基本屬性、購買能力、行為特征或者用戶使用過的內(nèi)容等特征進(jìn)行計算，進(jìn)而形成可以向用戶推薦商品、服務(wù)、應(yīng)用程序等消息的系統(tǒng)。推薦系統(tǒng)在對特征計算過程中包括粗排和精排，粗排即為粗排序，在在粗排動執(zhí)行過程時，常常稱為召回，召回可以理解為向用戶粗選一批待推薦的商品。在召回的基礎(chǔ)上加一層點擊率預(yù)估的排序模型，即對粗選的一批待推薦模型商品進(jìn)行點擊率計算，基于商品點擊率對待推薦商品進(jìn)行排序，即為精排，該動作執(zhí)行過程常常稱為排序。目前，推薦系統(tǒng)做商品推薦精排的時候，請求方會將用戶信息和召回的商品信息，轉(zhuǎn)化成模型輸入的格式，然后作為一個batch發(fā)送給Tensorflow serving(數(shù)據(jù)流服務(wù)器)。而隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，使得batch(批處理)的數(shù)據(jù)量比較大，進(jìn)而使得參數(shù)打包、傳輸網(wǎng)絡(luò)開銷和模型計算都比較耗時長。另外，推薦系統(tǒng)是一個高并發(fā)低延時的特點，需要從海量的數(shù)據(jù)中獲取針對性的數(shù)據(jù)進(jìn)行計算，當(dāng)推薦系統(tǒng)每次進(jìn)行精排計算都花費較長的時間，而系統(tǒng)的處理能力又具有上限時，會導(dǎo)致整個推薦系統(tǒng)的處理能力下降，即數(shù)據(jù)的吞吐量降低，不能夠?qū)崟r地對用戶信息和商品信息進(jìn)行計算，得到較優(yōu)商品排序序列，使得用戶不能夠很好地使用到系統(tǒng)推薦的商品，進(jìn)而降低用戶使用應(yīng)用程序的體驗。

發(fā)明內(nèi)容

為克服以上技術(shù)問題，特別是對召回數(shù)據(jù)處理過程中參數(shù)打包、傳輸網(wǎng)絡(luò)開銷和排序模型計算耗時長，導(dǎo)致整個推薦系統(tǒng)處理能力下降的問題，特提出以下技術(shù)方案：

本申請實施例提供的一種排序數(shù)據(jù)的處理方法，包括：

獲取用戶信息以及商品信息，對所述用戶信息和商品信息進(jìn)行轉(zhuǎn)碼，得到推薦排序參數(shù)，將所述推薦排序參數(shù)緩存到redis數(shù)據(jù)庫中，形成批處理的推薦排序參數(shù)數(shù)據(jù)集；

從redis數(shù)據(jù)庫中獲取所述批處理的推薦排序參數(shù)數(shù)據(jù)集，并將所述批處理的推薦排序參數(shù)數(shù)據(jù)集進(jìn)行切分，形成若干子推薦排序參數(shù)數(shù)據(jù)集；

建立各線程與各所述子推薦排序參數(shù)數(shù)據(jù)集的關(guān)聯(lián)關(guān)系，通過各所述線程請求數(shù)據(jù)流服務(wù)器對關(guān)聯(lián)的各所述子推薦排序參數(shù)數(shù)據(jù)集中的推薦排序參數(shù)進(jìn)行計算，得到各所述子推薦排序參數(shù)數(shù)據(jù)集中推薦排序參數(shù)的排序結(jié)果，依據(jù)所述排序結(jié)果對商品進(jìn)行排序。

可選地，所述從redis數(shù)據(jù)庫中獲取所述批處理的推薦排序參數(shù)數(shù)據(jù)集，并將所述批處理的推薦排序參數(shù)數(shù)據(jù)集進(jìn)行切分，形成若干子推薦排序參數(shù)數(shù)據(jù)集，包括：

從redis數(shù)據(jù)庫中獲取所述批處理的推薦排序參數(shù)數(shù)據(jù)集，依據(jù)所述用戶信息和商品信息確定各商品的推薦排序參數(shù)復(fù)雜等級，依據(jù)所述推薦排序參數(shù)復(fù)雜等級，對所述批處理的推薦排序參數(shù)數(shù)據(jù)集進(jìn)行切分，形成若干子推薦排序參數(shù)數(shù)據(jù)集。

可選地，所述依據(jù)所述用戶信息和商品信息確定各商品的推薦排序參數(shù)復(fù)雜等級，包括：

獲取同一商品對應(yīng)用戶信息和商品信息的推薦排序參數(shù)數(shù)量；

依據(jù)所述推薦排序參數(shù)數(shù)量和預(yù)設(shè)規(guī)則確定所述同一商品的推薦排序參數(shù)復(fù)雜等級；其中，所述預(yù)設(shè)規(guī)則表示所述推薦排序參數(shù)數(shù)量與推薦排序參數(shù)復(fù)雜等級之間的映射關(guān)系。