[發(fā)明專(zhuān)利]建立標(biāo)點(diǎn)預(yù)測(cè)模型的方法、裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011000536.5
• 申請(qǐng)日: 2020-09-22
• 公開(kāi)（公告）號(hào): CN112148856A
• 公開(kāi)（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 梁鳴心;付曉寅;張遼
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06F16/332
• 分類(lèi)號(hào): G06F16/332;G06F16/33;G06N3/04;G06N3/08
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 田宏賓

1.一種建立標(biāo)點(diǎn)預(yù)測(cè)模型的方法，包括：

獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包含多個(gè)無(wú)標(biāo)點(diǎn)文本以及各無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果；

將無(wú)標(biāo)點(diǎn)文本輸入transformer模型中的編碼組件，得到所述編碼組件輸出的編碼結(jié)果；

將無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果與所述編碼結(jié)果輸入transformer模型中的解碼組件，得到所述解碼組件輸出的解碼結(jié)果；

確定所述解碼結(jié)果對(duì)應(yīng)的預(yù)測(cè)序列，并根據(jù)所述預(yù)測(cè)序列與所述無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果，得到訓(xùn)練標(biāo)簽序列；

根據(jù)所述編碼結(jié)果、所述預(yù)測(cè)序列與所述訓(xùn)練標(biāo)簽序列，訓(xùn)練所述解碼組件，將編碼組件以及訓(xùn)練得到的解碼組件作為標(biāo)點(diǎn)預(yù)測(cè)模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述預(yù)測(cè)序列與所述無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果，得到訓(xùn)練標(biāo)簽序列包括：

將所述預(yù)測(cè)序列與所述無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果進(jìn)行比較，確定預(yù)測(cè)錯(cuò)誤類(lèi)型；

利用與所述預(yù)測(cè)錯(cuò)誤類(lèi)型對(duì)應(yīng)的采樣方法對(duì)所述解碼結(jié)果進(jìn)行處理，得到所述訓(xùn)練標(biāo)簽序列。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述利用與所述預(yù)測(cè)錯(cuò)誤類(lèi)型對(duì)應(yīng)的采樣方法對(duì)所述解碼結(jié)果進(jìn)行處理，得到所述訓(xùn)練標(biāo)簽序列包括：

響應(yīng)于所述預(yù)測(cè)錯(cuò)誤類(lèi)型為標(biāo)點(diǎn)刪除，使用已刪除的標(biāo)點(diǎn)替換所述解碼結(jié)果中對(duì)應(yīng)所刪除標(biāo)點(diǎn)的位置處的特定標(biāo)簽，得到所述訓(xùn)練標(biāo)簽序列。

4.根據(jù)權(quán)利要求2所述的方法，其中，所述利用與所述預(yù)測(cè)錯(cuò)誤類(lèi)型對(duì)應(yīng)的采樣方法對(duì)所述解碼結(jié)果進(jìn)行處理，得到所述訓(xùn)練標(biāo)簽序列包括：

響應(yīng)于所述預(yù)測(cè)錯(cuò)誤類(lèi)型為標(biāo)點(diǎn)插入，使用特定標(biāo)簽替換所述解碼結(jié)果中所增加的標(biāo)點(diǎn)，得到所述訓(xùn)練標(biāo)簽序列。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述編碼結(jié)果、所述預(yù)測(cè)序列與所述訓(xùn)練標(biāo)簽序列，訓(xùn)練所述解碼組件包括：

將所述編碼結(jié)果與所述預(yù)測(cè)序列作為所述解碼組件的輸入，得到所述解碼組件的輸出；

根據(jù)所述訓(xùn)練標(biāo)簽序列與所述解碼組件的輸出，調(diào)整所述解碼組件中的參數(shù)，直至所述解碼組件收斂。

6.根據(jù)權(quán)利要求1所述的方法，還包括，

設(shè)置對(duì)應(yīng)于所述解碼組件包含的各解碼器中掩碼自注意力層的第一矩陣，以及設(shè)置對(duì)應(yīng)于所述解碼組件包含的各解碼器中自注意力層的第二矩陣；

結(jié)合所述第一矩陣完成各解碼器中所述掩碼自注意力層的自注意力計(jì)算，以及結(jié)合所述第二矩陣完成各解碼器中所述自注意力層的自注意力計(jì)算。

7.根據(jù)權(quán)利要求6所述的方法，還包括，

設(shè)置對(duì)應(yīng)于所述編碼組件包含的各編碼器中自注意力層的第三矩陣；

結(jié)合所述第三矩陣完成各編碼器中所述自注意力層的自注意力計(jì)算。

8.一種建立標(biāo)點(diǎn)預(yù)測(cè)模型的裝置，包括：

獲取單元，用于獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包含多個(gè)無(wú)標(biāo)點(diǎn)文本以及各無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果；

編碼單元，用于將無(wú)標(biāo)點(diǎn)文本輸入transformer模型中的編碼組件，得到所述編碼組件輸出的編碼結(jié)果；

解碼單元，用于將無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果與所述編碼結(jié)果輸入transformer模型中的解碼組件，得到所述解碼組件輸出的解碼結(jié)果；

確定單元，用于確定所述解碼結(jié)果對(duì)應(yīng)的預(yù)測(cè)序列，并根據(jù)所述預(yù)測(cè)序列與所述無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果，得到訓(xùn)練標(biāo)簽序列；

訓(xùn)練單元，用于根據(jù)所述編碼結(jié)果、所述預(yù)測(cè)序列與所述訓(xùn)練標(biāo)簽序列，訓(xùn)練所述解碼組件，將編碼組件以及訓(xùn)練得到的解碼組件作為標(biāo)點(diǎn)預(yù)測(cè)模型。

9.根據(jù)權(quán)利要求8所述的裝置，其中，所述確定單元在根據(jù)所述預(yù)測(cè)序列與所述無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果，得到訓(xùn)練標(biāo)簽序列時(shí)，具體執(zhí)行：

將所述預(yù)測(cè)序列與所述無(wú)標(biāo)點(diǎn)文本對(duì)應(yīng)的標(biāo)點(diǎn)標(biāo)注結(jié)果進(jìn)行比較，確定預(yù)測(cè)錯(cuò)誤類(lèi)型；

利用與所述預(yù)測(cè)錯(cuò)誤類(lèi)型對(duì)應(yīng)的采樣方法對(duì)所述解碼結(jié)果進(jìn)行處理，得到所述訓(xùn)練標(biāo)簽序列。