[發(fā)明專利]一種推薦系統(tǒng)及多算法融合推薦處理流程

有效

• 申請(qǐng)?zhí)枺?/td>: 202010522860.7
• 申請(qǐng)日: 2020-06-10
• 公開（公告）號(hào): CN111695035B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 王勁;周建平;任兆江
• 申請(qǐng)（專利權(quán)）人: 廣東數(shù)果科技有限公司
• 主分類號(hào): G06F16/9535
• 分類號(hào): G06F16/9535;G06F16/28;G06F16/182
• 代理公司: 廣東穎聯(lián)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44647
• 代理人: 何卓南;鐘作亮

本發(fā)明公開了一種推薦系統(tǒng)及多算法融合推薦處理流程，其特征轉(zhuǎn)換及模型訓(xùn)練模塊把若干的特征轉(zhuǎn)換算法及若干的模型訓(xùn)練算法整合在一起，調(diào)用的時(shí)候不需要分別加載，實(shí)用性好，在模型調(diào)優(yōu)的時(shí)候只需要修改配置文件，進(jìn)行訓(xùn)練保存即可得到新的模型，在實(shí)際應(yīng)用過程中，用戶只需要關(guān)注輸入數(shù)據(jù)和輸出結(jié)果，中間的特征處理和模型訓(xùn)練被封裝起來，省去獨(dú)立維護(hù)的成本；模型文件保存模塊將模型文件保存在分布式文件系統(tǒng)上和將模型文件的基礎(chǔ)信息記錄到關(guān)系數(shù)據(jù)庫中，有利于模型讀取模塊讀取模型基礎(chǔ)信息，根據(jù)模型基礎(chǔ)信息到分布式文件系統(tǒng)中加載對(duì)應(yīng)的模型文件，讀取方便快捷，從而使API服務(wù)模塊得到加載后的模型，接收網(wǎng)絡(luò)請(qǐng)求返回推薦結(jié)果到前端。

技術(shù)領(lǐng)域

本發(fā)明涉及一種推薦系統(tǒng)及多算法融合推薦處理流程。

背景技術(shù)

近年來隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展和普及應(yīng)用，產(chǎn)生了越來越多的用戶行為數(shù)據(jù)，用戶身邊充斥著大量信息，這時(shí)候推薦系統(tǒng)就發(fā)揮了用武之地。推薦系統(tǒng)本質(zhì)上是在用戶需求不明確的情況下，隨著用戶規(guī)模的爆炸增長以及供應(yīng)商提供的物品的種類越來越多，從海量的信息中為用戶尋找其感興趣的信息，為用戶提供精準(zhǔn)的個(gè)性化推薦。

用戶有動(dòng)態(tài)和靜態(tài)屬性，靜態(tài)屬性比如年齡性別地區(qū)等等，動(dòng)態(tài)屬性比如歷史行為，上下文信息(登錄時(shí)間，登錄設(shè)備等等)，對(duì)應(yīng)的物品也有動(dòng)態(tài)和靜態(tài)屬性，靜態(tài)屬性比如價(jià)格，標(biāo)簽，類別等等，動(dòng)態(tài)屬性比如銷售活動(dòng)，折扣等等。結(jié)合用戶和物品的動(dòng)靜態(tài)屬性，預(yù)測(cè)用戶感興趣的物品，為用戶提供個(gè)性化的推薦，做到千人千面。

當(dāng)前的推薦系統(tǒng)技術(shù)方案很常用的一個(gè)就是基于GPU的TensorFlow。TensorFlow架構(gòu)，一般需要高性能的顯卡支撐才能夠運(yùn)行大規(guī)模的數(shù)據(jù)，成本較高。在目前中小企業(yè)普遍都是Hadoop生態(tài)的情況下，部署存在難度，其Transform(特征處理)和Trainer(模型訓(xùn)練)，保存的時(shí)候這兩部分是分開保存的，在調(diào)用的時(shí)候也需要分別調(diào)用再連接起來。特征處理、模型訓(xùn)練和推薦服務(wù)完全分離，每一項(xiàng)都需要獨(dú)立維護(hù)，成本較高，同時(shí)特征處理和超參的調(diào)整不便。

因此，如何克服上述存在的缺陷，已成為本領(lǐng)域技術(shù)人員亟待解決的重要課題。

發(fā)明內(nèi)容

本發(fā)明克服了上述技術(shù)的不足，提供了一種推薦系統(tǒng)及多算法融合推薦處理流程。

為實(shí)現(xiàn)上述目的，本發(fā)明采用了下列技術(shù)方案：

一種推薦系統(tǒng)，包括有：

數(shù)據(jù)預(yù)處理模塊，解析輸入數(shù)據(jù)，把輸入數(shù)據(jù)轉(zhuǎn)換成指定格式的數(shù)據(jù)特征列，然后輸出，其中，輸入數(shù)據(jù)的格式和數(shù)據(jù)特征列的格式，均通過配置文件指定；

特征轉(zhuǎn)換及模型訓(xùn)練模塊，對(duì)數(shù)據(jù)特征列進(jìn)行若干次特征轉(zhuǎn)換，轉(zhuǎn)換成所需類型和格式的樣本，然后對(duì)樣本進(jìn)行若干次模型訓(xùn)練，保存算法模型，其中，特征轉(zhuǎn)換和模型訓(xùn)練均通過配置文件指定算法和參數(shù)；

模型文件保存模塊，在分布式文件系統(tǒng)上保存模型文件，保存內(nèi)容包括數(shù)據(jù)預(yù)處理模塊、特征轉(zhuǎn)換及模型訓(xùn)練模塊的處理流程和輸入輸出，以及特征轉(zhuǎn)換算法和模型訓(xùn)練算法的配置信息，并把模型文件的基礎(chǔ)信息記錄到關(guān)系數(shù)據(jù)庫中，其中，模型的基礎(chǔ)信息包括模型文件名稱、版本、保存路徑；

模型讀取模塊，鏈接對(duì)應(yīng)的關(guān)系數(shù)據(jù)庫，讀取模型基礎(chǔ)信息，根據(jù)模型基礎(chǔ)信息到分布式文件系統(tǒng)中加載對(duì)應(yīng)的模型文件，并進(jìn)行文件解析，得到完整輸入輸出信息和模型的完整參數(shù)；

API服務(wù)模塊，得到加載后的模型，監(jiān)聽網(wǎng)絡(luò)端口并接收網(wǎng)絡(luò)請(qǐng)求，其中，前端發(fā)送網(wǎng)絡(luò)請(qǐng)求，請(qǐng)求文本包括模型名稱、樣本特征，API服務(wù)模塊接收網(wǎng)絡(luò)請(qǐng)求返回推薦結(jié)果到前端。

優(yōu)選的，所述特征轉(zhuǎn)換及模型訓(xùn)練模塊采用多臺(tái)服務(wù)器同時(shí)進(jìn)行計(jì)算，使用通信和聚合的方式保證計(jì)算結(jié)果的正確，其中，其主服務(wù)器控制架構(gòu)包括有：