[發(fā)明專利]一種訓(xùn)練樣本處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110197693.8
• 申請(qǐng)日: 2021-02-22
• 公開(kāi)（公告）號(hào): CN112925947A
• 公開(kāi)（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 胡志勇;孟蕊;張冠星
• 申請(qǐng)（專利權(quán)）人: 百果園技術(shù)（新加坡）有限公司
• 主分類號(hào): G06F16/735
• 分類號(hào): G06F16/735;G06F16/78;G06Q30/02
• 代理公司: 北京澤方譽(yù)航專利代理事務(wù)所(普通合伙) 11884
• 代理人: 陳照輝

1.一種訓(xùn)練樣本處理方法，其特征在于，包括：

獲取打點(diǎn)事件數(shù)據(jù)，通過(guò)流計(jì)算引擎對(duì)所述打點(diǎn)事件數(shù)據(jù)進(jìn)行解析，解析出打點(diǎn)事件對(duì)應(yīng)的推薦內(nèi)容的用戶反應(yīng)數(shù)據(jù)，并將所述用戶反應(yīng)數(shù)據(jù)作為對(duì)應(yīng)打點(diǎn)事件數(shù)據(jù)的標(biāo)簽；

獲取所述推薦內(nèi)容對(duì)應(yīng)的特征數(shù)據(jù)，基于預(yù)設(shè)的第一預(yù)處理規(guī)則，通過(guò)所述流計(jì)算引擎對(duì)所述特征數(shù)據(jù)進(jìn)行預(yù)處理；

將所述打點(diǎn)事件數(shù)據(jù)存儲(chǔ)至分布式列式數(shù)據(jù)庫(kù)中，并將所述打點(diǎn)事件數(shù)據(jù)的標(biāo)簽和對(duì)應(yīng)的預(yù)處理特征數(shù)據(jù)存儲(chǔ)至所述打點(diǎn)事件數(shù)據(jù)的關(guān)聯(lián)字段中；

在所述打點(diǎn)事件數(shù)據(jù)的標(biāo)簽全部存儲(chǔ)至對(duì)應(yīng)的關(guān)聯(lián)字段后，將所述打點(diǎn)事件數(shù)據(jù)和關(guān)聯(lián)字段中的數(shù)據(jù)作為訓(xùn)練樣本，并將所述訓(xùn)練樣本存儲(chǔ)至所述分布式消息系統(tǒng)或分布式文件系統(tǒng)中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述打點(diǎn)事件數(shù)據(jù)的標(biāo)簽全部存儲(chǔ)至對(duì)應(yīng)的關(guān)聯(lián)字段后，將所述打點(diǎn)事件數(shù)據(jù)和關(guān)聯(lián)字段中的數(shù)據(jù)作為訓(xùn)練樣本包括：

判斷所述打點(diǎn)事件數(shù)據(jù)的標(biāo)簽是否全部存儲(chǔ)至對(duì)應(yīng)的關(guān)聯(lián)字段中，若所述打點(diǎn)事件數(shù)據(jù)的標(biāo)簽已全部存儲(chǔ)至對(duì)應(yīng)的關(guān)聯(lián)字段中，則將所述打點(diǎn)事件數(shù)據(jù)和關(guān)聯(lián)字段中的數(shù)據(jù)作為第一響應(yīng)等級(jí)的樣本數(shù)據(jù)；

在所述標(biāo)簽開(kāi)始存儲(chǔ)至所述分布式列式數(shù)據(jù)庫(kù)之后的第一時(shí)間節(jié)點(diǎn)，將所述打點(diǎn)事件數(shù)據(jù)和關(guān)聯(lián)字段中的數(shù)據(jù)作為第二響應(yīng)等級(jí)的樣本數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述訓(xùn)練樣本存儲(chǔ)至所述分布式消息系統(tǒng)或分布式文件系統(tǒng)中包括：

將所述第一響應(yīng)等級(jí)的樣本數(shù)據(jù)存儲(chǔ)至所述分布式消息系統(tǒng)的主題消息單元中，所述主題消息單元用于存儲(chǔ)同一主題的消息數(shù)據(jù)；

將所述第二響應(yīng)等級(jí)的樣本數(shù)據(jù)存儲(chǔ)至所述分布式文件系統(tǒng)中。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取打點(diǎn)事件數(shù)據(jù)之前還包括：

通過(guò)流數(shù)據(jù)管理系統(tǒng)獲取客戶端發(fā)送的打點(diǎn)事件數(shù)據(jù)和服務(wù)端發(fā)送的打點(diǎn)事件對(duì)應(yīng)的推送內(nèi)容的特征數(shù)據(jù)；

將所述打點(diǎn)事件數(shù)據(jù)和對(duì)應(yīng)的特征數(shù)據(jù)存儲(chǔ)至所述分布式消息系統(tǒng)中，所述打點(diǎn)事件數(shù)據(jù)和對(duì)應(yīng)的特征數(shù)據(jù)配置有相同的流標(biāo)識(shí)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述打點(diǎn)事件數(shù)據(jù)的標(biāo)簽和對(duì)應(yīng)的預(yù)處理特征數(shù)據(jù)存儲(chǔ)分別至所述打點(diǎn)事件數(shù)據(jù)的關(guān)聯(lián)字段中包括：

在所述打點(diǎn)事件數(shù)據(jù)存儲(chǔ)至所述分布式列式數(shù)據(jù)庫(kù)之后的第二時(shí)間節(jié)點(diǎn)，根據(jù)所述打點(diǎn)事件數(shù)據(jù)的流標(biāo)識(shí)，確定所述打點(diǎn)事件數(shù)據(jù)在所述分布式列式數(shù)據(jù)庫(kù)中的存儲(chǔ)行；

將所述標(biāo)簽和所述預(yù)處理特征數(shù)據(jù)存儲(chǔ)至該存儲(chǔ)行的其余列中，所述標(biāo)簽和預(yù)處理特征數(shù)據(jù)配置有與所述打點(diǎn)事件數(shù)據(jù)相同的流標(biāo)識(shí)。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述將所述打點(diǎn)事件數(shù)據(jù)和對(duì)應(yīng)的特征數(shù)據(jù)存儲(chǔ)至所述分布式消息系統(tǒng)中之后，還包括：

將所述打點(diǎn)事件數(shù)據(jù)和對(duì)應(yīng)的特征數(shù)據(jù)作為備份數(shù)據(jù)，并將所述備份數(shù)據(jù)存儲(chǔ)至所述分布式文件系統(tǒng)中。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述將所述備份數(shù)據(jù)存儲(chǔ)至分布式文件系統(tǒng)中之后，還包括：

基于預(yù)設(shè)的第二預(yù)處理規(guī)則，通過(guò)所述流計(jì)算引擎對(duì)所述備份數(shù)據(jù)進(jìn)行預(yù)處理，獲取預(yù)處理備份數(shù)據(jù)，并將所述預(yù)處理備份數(shù)據(jù)存儲(chǔ)至所述分布式文件系統(tǒng)中。