[發(fā)明專利]用于事件檢測(cè)的網(wǎng)絡(luò)訓(xùn)練方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011111486.8
• 申請(qǐng)日: 2020-10-16
• 公開(kāi)（公告）號(hào): CN112199950A
• 公開(kāi)（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 徐軍;黃偉鵬;徐學(xué)可;王峰
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F40/216;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種用于進(jìn)行事件檢測(cè)的動(dòng)態(tài)感知網(wǎng)絡(luò)訓(xùn)練方法，所述動(dòng)態(tài)感知網(wǎng)絡(luò)包含順序排列的多個(gè)備選的計(jì)算層；所述方法通過(guò)處理平臺(tái)執(zhí)行，包括：

獲取包含多個(gè)詞的樣本文本、多個(gè)詞分別對(duì)應(yīng)的初始特征向量和標(biāo)注標(biāo)簽，所述標(biāo)注標(biāo)簽包括與事件類型相關(guān)的第一類標(biāo)簽和與事件類型無(wú)關(guān)的第二類標(biāo)簽；

針對(duì)所述樣本文本中的任意一個(gè)詞，從所述動(dòng)態(tài)感知網(wǎng)絡(luò)中逐漸增加地選擇前若干個(gè)計(jì)算層，并通過(guò)所述前若干個(gè)計(jì)算層和該詞的初始特征向量確定該詞的中間特征向量，基于第一分類器和該詞的中間特征向量確定第一預(yù)測(cè)標(biāo)簽，當(dāng)所述第一預(yù)測(cè)標(biāo)簽與對(duì)應(yīng)的標(biāo)注標(biāo)簽的第一差異小于第一預(yù)設(shè)閾值時(shí)，將所述前若干個(gè)計(jì)算層作為與該詞對(duì)應(yīng)的計(jì)算層，將該詞的所述中間特征向量作為所述動(dòng)態(tài)感知網(wǎng)絡(luò)輸出的該詞的第一特征向量；預(yù)測(cè)標(biāo)簽是該詞在所述第一類標(biāo)簽或所述第二類標(biāo)簽中歸屬的標(biāo)簽；

基于所述第一差異確定第一預(yù)測(cè)損失，向減小所述第一預(yù)測(cè)損失的方向，調(diào)整與該詞對(duì)應(yīng)的計(jì)算層中的模型參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，通過(guò)所述前若干個(gè)計(jì)算層和該詞的初始特征向量確定該詞的中間特征向量，包括：

通過(guò)所述前若干個(gè)計(jì)算層，基于該詞的初始特征向量和所述樣本文本中該詞之前的詞信息，確定該詞的中間特征向量。

3.根據(jù)權(quán)利要求2所述的方法，確定該詞的中間特征向量，包括：

將該詞的初始特征向量和該詞之前的詞信息輸入所述前若干個(gè)計(jì)算層中的第一個(gè)計(jì)算層，并至少將每個(gè)計(jì)算層的計(jì)算結(jié)果輸入下一個(gè)計(jì)算層，將所述前若干個(gè)計(jì)算層中的最后一個(gè)計(jì)算層的計(jì)算結(jié)果，作為該詞的中間特征向量。

4.根據(jù)權(quán)利要求3所述的方法，還包括，將該詞的初始特征向量輸入所述下一個(gè)計(jì)算層。

5.根據(jù)權(quán)利要求2所述的方法，所述該詞之前的詞信息，基于該詞之前的詞的第一特征向量確定。

6.根據(jù)權(quán)利要求1所述的方法，基于第一分類器和該詞的中間特征向量確定第一預(yù)測(cè)標(biāo)簽，包括：

基于該詞的中間特征向量確定該詞的特征概率，所述特征概率表示該中間特征向量作為第一特征向量的概率；

將該詞的中間特征向量輸入第一分類器，得到該詞的初始預(yù)測(cè)標(biāo)簽；

基于該詞的特征概率與該詞的初始預(yù)測(cè)標(biāo)簽，確定該詞的第一預(yù)測(cè)標(biāo)簽。

7.根據(jù)權(quán)利要求1所述的方法，當(dāng)所述第一差異不小于所述第一預(yù)設(shè)閾值時(shí)，還包括：

繼續(xù)向所述前若干個(gè)計(jì)算層中增加第一數(shù)量個(gè)計(jì)算層；

至少將該詞的所述中間特征向量輸入所述第一數(shù)量個(gè)計(jì)算層，得到更新后的該詞的中間特征向量，繼續(xù)執(zhí)行基于第一分類器和該詞的中間特征向量確定第一預(yù)測(cè)標(biāo)簽的步驟。

8.根據(jù)權(quán)利要求7所述的方法，所述第一數(shù)量為預(yù)先設(shè)定的數(shù)量；或者，所述第一數(shù)量基于所述第一差異和所述第一預(yù)設(shè)閾值的相對(duì)值確定。

9.一種用于進(jìn)行事件檢測(cè)的目標(biāo)反饋網(wǎng)絡(luò)訓(xùn)練方法，所述方法通過(guò)處理平臺(tái)執(zhí)行，包括：

獲取包含多個(gè)詞的樣本文本、多個(gè)詞分別對(duì)應(yīng)的第一特征向量和標(biāo)注標(biāo)簽，所述第一特征向量采用權(quán)利要求1訓(xùn)練的動(dòng)態(tài)感知網(wǎng)絡(luò)確定；

基于多個(gè)詞分別對(duì)應(yīng)的第一特征向量，按照預(yù)設(shè)的特征處理機(jī)制，確定多個(gè)詞分別對(duì)應(yīng)的第二特征向量；

按照所述樣本文本中多個(gè)詞的排列順序，基于多個(gè)詞的第二特征向量，通過(guò)目標(biāo)反饋網(wǎng)絡(luò)，采用以下遞歸方式依次確定多個(gè)詞分別對(duì)應(yīng)的隱向量：針對(duì)所述多個(gè)詞中的任意一個(gè)詞，將該詞的前一個(gè)詞的特征信息和該詞的第二特征向量輸入所述目標(biāo)反饋網(wǎng)絡(luò)，得到該詞的隱向量；將該詞的隱向量輸入第二分類器，得到該詞的第二預(yù)測(cè)標(biāo)簽；其中，所述前一個(gè)詞的特征信息包括所述前一個(gè)詞的第二預(yù)測(cè)標(biāo)簽和所述前一個(gè)詞的隱向量；

基于各個(gè)詞的第二預(yù)測(cè)標(biāo)簽與對(duì)應(yīng)的標(biāo)注標(biāo)簽之間的第二差異，確定第二預(yù)測(cè)損失，向減小所述第二預(yù)測(cè)損失的方向，調(diào)整所述目標(biāo)反饋網(wǎng)絡(luò)。