[發(fā)明專利]基于事件序列進(jìn)行業(yè)務(wù)預(yù)測(cè)的方法、神經(jīng)網(wǎng)絡(luò)模型和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110584259.5
• 申請(qǐng)日: 2021-05-27
• 公開（公告）號(hào): CN113255908B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 李輝;傅幸;王維強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06N3/044
• 分類號(hào): G06N3/044;G06N3/045;G06N3/048;G06N3/08;G06N3/0442;G06N3/0455
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實(shí)施例提供一種基于事件序列進(jìn)行業(yè)務(wù)預(yù)測(cè)的方法和神經(jīng)網(wǎng)絡(luò)模型。在該方法中，首先獲取目標(biāo)事件序列，其中包含τ個(gè)事件；事件的類別型字段的備選類別值被視為實(shí)體。然后確定單個(gè)事件對(duì)應(yīng)的事件嵌入向量；τ個(gè)事件的事件嵌入向量構(gòu)成嵌入矩陣。接著，利用分配矩陣對(duì)嵌入矩陣進(jìn)行線性變換，基于線性變換結(jié)果得到實(shí)體表征矩陣；其中，分配矩陣指示各事件對(duì)各實(shí)體的包含關(guān)系。進(jìn)一步的，對(duì)實(shí)體表征矩陣中對(duì)應(yīng)于同一字段的矩陣部分進(jìn)行池化操作，得到該字段對(duì)應(yīng)的字段表征向量；再基于各字段表征向量，確定目標(biāo)事件序列對(duì)應(yīng)的條件嵌入向量。從而至少基于該條件嵌入向量，確定目標(biāo)事件序列對(duì)應(yīng)的序列表征向量，用于進(jìn)行與事件相關(guān)的業(yè)務(wù)預(yù)測(cè)。

技術(shù)領(lǐng)域

本說明書一個(gè)或多個(gè)實(shí)施例涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及對(duì)事件特征進(jìn)行處理的方法、神經(jīng)網(wǎng)絡(luò)模型和裝置。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)已經(jīng)應(yīng)用到各種各樣的技術(shù)領(lǐng)域，用于分析、預(yù)測(cè)各種業(yè)務(wù)數(shù)據(jù)。例如，在互聯(lián)網(wǎng)環(huán)境中存在多種類型的事件，例如，登錄事件，購買事件，點(diǎn)擊事件，支付事件，等等。在許多場(chǎng)景下，需要對(duì)各種事件構(gòu)成的事件序列進(jìn)行分析和處理，從而進(jìn)行業(yè)務(wù)預(yù)測(cè)，例如可以根據(jù)事件序列評(píng)估用戶操作行為的風(fēng)險(xiǎn)程度，以便進(jìn)行風(fēng)險(xiǎn)防控；或者，可以根據(jù)歷史事件評(píng)估用戶的偏好，從而更好地為用戶提供個(gè)性化的服務(wù)。

在基于事件序列進(jìn)行業(yè)務(wù)預(yù)測(cè)的場(chǎng)景中，為了盡可能地提高模型預(yù)測(cè)的準(zhǔn)確性，通常會(huì)在事件中引入豐富的不同維度的特征數(shù)據(jù)。不同維度的特征從不同角度刻畫了業(yè)務(wù)場(chǎng)景的不同信息。僅僅基于基礎(chǔ)特征訓(xùn)練的模型僅能表達(dá)特征信息的線性組合，模型表達(dá)能力受限。因此，希望對(duì)特征進(jìn)行有效的組合表征，來提升模型的表達(dá)能力。進(jìn)一步的，在基于事件序列進(jìn)行業(yè)務(wù)預(yù)測(cè)的場(chǎng)景下，在對(duì)各個(gè)事件進(jìn)行有效表征后，還希望有更好的方案，可以發(fā)掘出序列之間各個(gè)事件之間的深層關(guān)聯(lián)，得到更有效的序列表征。

由此，希望能有改進(jìn)的方案，更為有效地對(duì)事件序列進(jìn)行處理和表征，提升模型的表達(dá)能力，從而提高業(yè)務(wù)預(yù)測(cè)的準(zhǔn)確性。

發(fā)明內(nèi)容

本說明書一個(gè)或多個(gè)實(shí)施例描述了一種基于事件序列進(jìn)行業(yè)務(wù)預(yù)測(cè)的方法和神經(jīng)網(wǎng)絡(luò)模型，通過設(shè)計(jì)特殊的條件序列網(wǎng)絡(luò)，學(xué)習(xí)到條件化衍生特征信息，可以提高序列表征的表達(dá)能力，從而提升業(yè)務(wù)預(yù)測(cè)準(zhǔn)確性。

根據(jù)第一方面，提供了一種基于事件序列進(jìn)行業(yè)務(wù)預(yù)測(cè)的方法，包括：

獲取目標(biāo)事件序列，其中包含預(yù)定數(shù)目τ個(gè)事件；每個(gè)事件的屬性字段中包括若干類別型字段，所述若干類別型字段對(duì)應(yīng)于實(shí)體集合，其中一個(gè)實(shí)體表示一個(gè)類別型字段的一個(gè)備選類別值；

確定單個(gè)事件對(duì)應(yīng)的事件嵌入向量；τ個(gè)事件對(duì)應(yīng)的事件嵌入向量構(gòu)成嵌入矩陣；

利用預(yù)先構(gòu)建的分配矩陣對(duì)所述嵌入矩陣進(jìn)行線性變換，基于線性變換結(jié)果得到實(shí)體表征矩陣；其中，所述分配矩陣用于指示所述τ個(gè)事件中各個(gè)事件對(duì)于所述實(shí)體集合中各個(gè)實(shí)體的包含關(guān)系；

對(duì)所述實(shí)體表征矩陣中對(duì)應(yīng)于同一字段的矩陣部分進(jìn)行第一池化操作，基于第一池化操作結(jié)果得到所述若干類別型字段對(duì)應(yīng)的若干字段表征向量；基于所述若干字段表征向量，確定該目標(biāo)事件序列對(duì)應(yīng)的條件嵌入向量；

至少基于所述條件嵌入向量，確定該目標(biāo)事件序列對(duì)應(yīng)的序列表征向量；

基于所述序列表征向量，進(jìn)行與事件相關(guān)的業(yè)務(wù)預(yù)測(cè)。

根據(jù)一種實(shí)施方式，確定單個(gè)事件對(duì)應(yīng)的事件嵌入向量，包括：獲取所述單個(gè)事件的編碼向量，所述編碼向量通過對(duì)所述單個(gè)事件的各個(gè)屬性字段進(jìn)行編碼而得到；對(duì)所述編碼向量進(jìn)行變換處理，得到所述事件嵌入向量。

在一個(gè)實(shí)施例中，對(duì)編碼向量進(jìn)行變換處理，得到所述事件嵌入向量，具體包括：對(duì)所述編碼向量進(jìn)行字段間高階交互處理，得到高階交互向量；至少基于所述高階交互向量，確定所述事件嵌入向量。