[發(fā)明專利]訓(xùn)練模型的方法及系統(tǒng)和預(yù)測(cè)序列數(shù)據(jù)的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910349922.6
• 申請(qǐng)日: 2019-04-28
• 公開(kāi)（公告）號(hào): CN110097193B
• 公開(kāi)（公告）日: 2021-03-19
• 發(fā)明（設(shè)計(jì)）人: 姚權(quán)銘;時(shí)鴻志
• 申請(qǐng)（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 朱志玲;田方

1.一種訓(xùn)練用于預(yù)測(cè)序列數(shù)據(jù)的機(jī)器學(xué)習(xí)模型的方法，包括：

獲取序列訓(xùn)練樣本集合，其中，所述序列訓(xùn)練樣本集合包括針對(duì)多個(gè)對(duì)象中的每個(gè)對(duì)象的多條序列訓(xùn)練樣本，并且每個(gè)序列訓(xùn)練樣本包括按時(shí)間順序排列的多個(gè)序列數(shù)據(jù)；

基于所述序列訓(xùn)練樣本集合，訓(xùn)練所述機(jī)器學(xué)習(xí)模型，

其中，所述機(jī)器學(xué)習(xí)模型是包括兩個(gè)隱狀態(tài)層的隱馬爾可夫模型，其中，第一隱狀態(tài)層中包括所述多個(gè)對(duì)象中的每個(gè)對(duì)象的個(gè)性化隱狀態(tài)，第二隱狀態(tài)層中包括由所述多個(gè)對(duì)象共享的多個(gè)共享隱狀態(tài)；

其中，所述多個(gè)序列數(shù)據(jù)涉及對(duì)象在不同時(shí)間點(diǎn)的行為數(shù)據(jù)，所述機(jī)器學(xué)習(xí)模型被訓(xùn)練為針對(duì)對(duì)象的按時(shí)間順序排列的一系列歷史行為數(shù)據(jù)來(lái)預(yù)測(cè)對(duì)象在所述一系列歷史行為數(shù)據(jù)之后的下一行為數(shù)據(jù)；或者

所述多個(gè)序列數(shù)據(jù)涉及對(duì)象在不同時(shí)間點(diǎn)的狀態(tài)數(shù)據(jù)，所述機(jī)器學(xué)習(xí)模型被訓(xùn)練為針對(duì)對(duì)象的按時(shí)間順序排列的一系列歷史狀態(tài)數(shù)據(jù)來(lái)預(yù)測(cè)對(duì)象的在所述一系列歷史屬性數(shù)據(jù)之后的下一狀態(tài)數(shù)據(jù)。

2.如權(quán)利要求1所述的方法，其中，獲取序列訓(xùn)練樣本集合的步驟包括：

獲取所述多個(gè)對(duì)象的歷史數(shù)據(jù)記錄集合；

基于所述多個(gè)對(duì)象的歷史數(shù)據(jù)記錄集合構(gòu)建所述序列訓(xùn)練樣本集合，其中，對(duì)于每個(gè)對(duì)象的按時(shí)間順序排列的多條歷史數(shù)據(jù)記錄，如果相鄰的兩條歷史數(shù)據(jù)記錄之間的時(shí)間間隔滿足預(yù)設(shè)條件，則進(jìn)行切分，進(jìn)而得到該對(duì)象的多條序列訓(xùn)練樣本。

3.如權(quán)利要求1所述的方法，其中，每個(gè)共享隱狀態(tài)對(duì)應(yīng)一個(gè)概率分布。

4.如權(quán)利要求3所述的方法，其中，所述行為數(shù)據(jù)包括反映對(duì)象行為的連續(xù)特征數(shù)據(jù)，所述概率分布包括高斯分布；或者

其中，所述行為數(shù)據(jù)包括反映對(duì)象行為的離散特征數(shù)據(jù)，所述概率分布包括多項(xiàng)式分布。

5.如權(quán)利要求4所述的方法，其中，所述連續(xù)特征數(shù)據(jù)包括對(duì)象的位置數(shù)據(jù)，所述離散特征數(shù)據(jù)包括對(duì)象所接受的內(nèi)容的內(nèi)容ID。

6.如權(quán)利要求1所述的方法，其中，第一隱狀態(tài)層中的每個(gè)對(duì)象的個(gè)性化隱狀態(tài)的數(shù)量小于第二隱狀態(tài)層中的所述多個(gè)共享隱狀態(tài)的數(shù)量。

7.如權(quán)利要求1所述的方法，其中，所述機(jī)器學(xué)習(xí)模型的模型參數(shù)包括針對(duì)每個(gè)對(duì)象的個(gè)性化參數(shù)集和由所述多個(gè)對(duì)象共享的共享參數(shù)集。

8.如權(quán)利要求7所述的方法，其中，個(gè)性化參數(shù)集包括第一隱狀態(tài)層中的每個(gè)對(duì)象的個(gè)性化隱狀態(tài)的概率、每個(gè)對(duì)象的個(gè)性化隱狀態(tài)之間的轉(zhuǎn)移概率和每個(gè)對(duì)象的從個(gè)性化隱狀態(tài)到共享隱狀態(tài)的發(fā)射概率，共享參數(shù)集包括與每個(gè)共享隱狀態(tài)對(duì)應(yīng)的概率分布的集合。

9.如權(quán)利要求8所述的方法，其中，用于訓(xùn)練所述機(jī)器學(xué)習(xí)模型的目標(biāo)函數(shù)被構(gòu)造為包括損失函數(shù)和正則項(xiàng)，其中，所述正則項(xiàng)用于對(duì)每個(gè)對(duì)象的從個(gè)性化隱狀態(tài)到共享隱狀態(tài)的發(fā)射概率分布的集中程度進(jìn)行約束。

10.如權(quán)利要求9所述的方法，其中，所述正則項(xiàng)包括與每個(gè)對(duì)象的從個(gè)性化隱狀態(tài)到共享隱狀態(tài)的發(fā)射概率的熵有關(guān)的約束項(xiàng)。

11.如權(quán)利要求10所述的方法，其中，所述約束項(xiàng)被構(gòu)造為其中，其中，λ是大于0的實(shí)數(shù)，指示所述多個(gè)對(duì)象中的第u個(gè)對(duì)象的從第i個(gè)個(gè)性化隱狀態(tài)到第m個(gè)共享隱狀態(tài)的發(fā)射概率，其中，u、i和m均是大于0的正整數(shù)。

12.如權(quán)利要求10所述的方法，其中，訓(xùn)練所述機(jī)器學(xué)習(xí)模型的步驟包括：

利用與每個(gè)序列訓(xùn)練樣本對(duì)應(yīng)的個(gè)性化隱狀態(tài)序列和共享隱狀態(tài)序列基于詹森不等式來(lái)確定目標(biāo)函數(shù)的下界，并通過(guò)最大化目標(biāo)函數(shù)的下界來(lái)確定所述模型參數(shù)。