[發(fā)明專利]指令識(shí)別方法及裝置、訓(xùn)練方法、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210603364.3
• 申請(qǐng)日: 2022-05-30
• 公開（公告）號(hào): CN114996422A
• 公開（公告）日: 2022-09-02
• 發(fā)明（設(shè)計(jì)）人: 冀潮;姜博然;歐歌;張鵬飛;鐘楚千
• 申請(qǐng)（專利權(quán)）人: 北京京東方技術(shù)開發(fā)有限公司;京東方科技集團(tuán)股份有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/35;G06F40/295;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京天昊聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11112
• 代理人: 魏艷新;姜春咸

1.一種指令識(shí)別方法，包括：

獲取目標(biāo)指令對(duì)應(yīng)的目標(biāo)文本的各個(gè)詞元；

將所述各個(gè)詞元輸入第一模型，得到各個(gè)所述詞元的嵌入向量；其中，所述第一模型包括自注意力模型；

將各個(gè)所述詞元的嵌入向量輸入第二模型，以對(duì)所述目標(biāo)文本進(jìn)行意圖識(shí)別和命名實(shí)體識(shí)別，確定所述目標(biāo)文本所對(duì)應(yīng)的意圖、以及各個(gè)所述詞元所對(duì)應(yīng)的信息槽；

根據(jù)所述目標(biāo)文本所對(duì)應(yīng)的意圖、以及各個(gè)所述詞元所對(duì)應(yīng)的信息槽，識(shí)別所述目標(biāo)指令。

2.根據(jù)權(quán)利要求1所述的指令識(shí)別方法，其中，

若通過(guò)命名實(shí)體識(shí)別確定出至少兩個(gè)詞元對(duì)應(yīng)同一個(gè)信息槽，則識(shí)別所述目標(biāo)指令具體包括：

輸出歧義消除請(qǐng)求，以請(qǐng)求用戶輸入歧義消除信息；

根據(jù)所述歧義消除信息，確定所述同一個(gè)信息槽實(shí)際所對(duì)應(yīng)的詞元；

根據(jù)所述意圖和每個(gè)信息槽所對(duì)應(yīng)的詞元，識(shí)別所述目標(biāo)指令；

若通過(guò)命名實(shí)體識(shí)別確定出不同的詞元對(duì)應(yīng)不同的信息槽，則識(shí)別所述目標(biāo)指令，具體包括：直接根據(jù)所述意圖和各個(gè)所述詞元所對(duì)應(yīng)的信息槽，識(shí)別所述目標(biāo)指令。

3.根據(jù)權(quán)利要求1所述的指令識(shí)別方法，其中，所述目標(biāo)指令為語(yǔ)音指令，

獲取目標(biāo)指令對(duì)應(yīng)的目標(biāo)文本的各個(gè)詞元，具體包括：

對(duì)所述語(yǔ)音指令進(jìn)行文字識(shí)別，生成所述目標(biāo)文本；

對(duì)所述目標(biāo)文本進(jìn)行分詞處理，得到所述目標(biāo)文本的各個(gè)詞元。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的指令識(shí)別方法，其中，所述第一模型還包括：嵌入層，用于對(duì)所述目標(biāo)文本的多個(gè)詞元進(jìn)行嵌入操作，得到每個(gè)所述詞元的初始嵌入向量；

所述第一模型中的自注意力模型包括：至少一個(gè)第一自注意力模型，所述至少一個(gè)第一自注意力模型用于對(duì)每個(gè)詞元的初始嵌入向量進(jìn)行特征提取，得到每個(gè)詞元的中間嵌入向量；其中，每個(gè)所述第一自注意力模型包括第一自注意力層。

5.根據(jù)權(quán)利要求4所述的指令識(shí)別方法，其中，所述第一自注意力模型還包括：

第一殘差網(wǎng)絡(luò)層，其輸入包括所述第一自注意力層的輸入和所述第一自注意力層的輸出；

第一前饋神經(jīng)網(wǎng)絡(luò)層，其輸入包括所述第一殘差網(wǎng)絡(luò)的輸出；

第二殘差網(wǎng)絡(luò)層，其輸入包括所述第一前饋神經(jīng)網(wǎng)絡(luò)層的輸出以及所述第一殘差網(wǎng)絡(luò)的輸出。

6.根據(jù)權(quán)利要求4所述的指令識(shí)別方法，其中，所述第一模型中的自注意力模型還包括：位于所述至少一個(gè)第一自注意力模型之后的至少一個(gè)第二自注意力模型，所述至少一個(gè)第二自注意力模型用于對(duì)其輸入進(jìn)行特征提取，生成每個(gè)詞元的所述嵌入向量；其中，每個(gè)所述第二自注意力模型包括第二自注意力層，所述第二自注意力層的維度小于所述第一自注意力層的維度。

7.根據(jù)權(quán)利要求6所述的指令識(shí)別方法，其中，所述第一模型還包括：

維度轉(zhuǎn)換層，位于所述至少一個(gè)第一自注意力模型和所述至少一個(gè)第二自注意力模型之間，用于對(duì)所述至少一個(gè)第一自注意力模型的輸出進(jìn)行維度轉(zhuǎn)換，并將維度轉(zhuǎn)換后的輸出結(jié)果作為所述至少一個(gè)第二自注意力模型的輸入。

8.根據(jù)權(quán)利要求6所述的指令識(shí)別方法，其中，所述第一自注意力層和所述第二自注意力層中的至少一者被配置為執(zhí)行以下操作：

將輸入向量與訓(xùn)練矩陣相乘，得到第一詞向量矩陣、第二詞向量矩陣和第三詞向量矩陣；

將所述第一詞向量矩陣和所述第二詞向量矩陣相乘，得到第四詞向量矩陣；

對(duì)所述第四詞向量矩陣進(jìn)行歸一化處理得到所述第五詞向量矩陣；

基于所述第五詞向量矩陣對(duì)所述第三詞向量矩陣進(jìn)行加權(quán)求和，得到第六詞向量矩陣。

9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的指令識(shí)別方法，其中，所述第二模型具體用于根據(jù)預(yù)設(shè)的窗口寬度對(duì)所有詞元的嵌入向量進(jìn)行分組，并將同一組中的詞元的嵌入向量進(jìn)行拼接，得到拼接特征；并根據(jù)每一組詞元的拼接特征，對(duì)所述目標(biāo)文本進(jìn)行意圖識(shí)別和命名實(shí)體識(shí)別，確定所述目標(biāo)文本所對(duì)應(yīng)的意圖、以及目標(biāo)文本的各個(gè)詞元所對(duì)應(yīng)的信息槽。