[發(fā)明專利]口語語義理解方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010716764.6
• 申請(qǐng)日: 2020-07-23
• 公開（公告）號(hào): CN111814489A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 俞凱;劉辰;朱蘇;趙子健;曹瑞升;陳露
• 申請(qǐng)（專利權(quán)）人: 蘇州思必馳信息科技有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06F40/284;G06N3/04
• 代理公司: 北京商專永信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種口語語義理解方法，包括：

對(duì)詞混淆網(wǎng)絡(luò)以及上一輪對(duì)話的系統(tǒng)行為進(jìn)行序列化，拼接成一個(gè)輸入序列，其中，所述詞混淆網(wǎng)絡(luò)包括：本輪對(duì)話的候選單詞以及所述候選單詞的后驗(yàn)概率，所述系統(tǒng)行為包括：結(jié)構(gòu)化的行為-槽-值的三元組；

對(duì)所述輸入序列進(jìn)行分詞，確定各分詞的詞嵌入、位置嵌入、片段嵌入，作為基于transformer的雙向編碼表示模型的輸入；

基于所述詞混淆網(wǎng)絡(luò)中所述候選單詞的后驗(yàn)概率對(duì)所述基于transformer的雙向編碼表示模型內(nèi)的自注意力權(quán)重進(jìn)行修改，所述基于transformer的雙向編碼表示模型輸出子詞級(jí)別的特征向量；

通過語句表示模塊將所述子詞級(jí)別的特征向量逐步聚合為語句級(jí)別的特征向量；

基于所述語句級(jí)別的特征向量，輸出結(jié)構(gòu)化的行為-槽-值的三元組，確定為本輪口語對(duì)話的系統(tǒng)行為。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)所述輸入序列進(jìn)行分詞，確定各分詞的詞嵌入、位置嵌入、片段嵌入包括：

通過所述基于transformer的雙向編碼表示模型的分詞器，對(duì)所述輸入序列進(jìn)行分詞，得到子詞級(jí)別的序列，確定各分詞的子詞序列、位置序列以及片段序列；

將所述子詞序列、所述位置序列以及所述片段序列輸入至所述基于transformer的雙向編碼表示模型的嵌入層，輸出詞嵌入、位置嵌入、片段嵌入。

3.根據(jù)權(quán)利要求2所述的方法，其中，在所述位置序列中，所述同一分詞的子詞序列的位置數(shù)值相同；

在所述片段序列中，詞混淆網(wǎng)絡(luò)中各分詞的片段數(shù)值相同，所述上一輪的系統(tǒng)行為中各分詞的片段數(shù)值相同，且不同于所述詞混淆網(wǎng)絡(luò)中各分詞的片段數(shù)值。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述通過語句表示模塊將所述子詞級(jí)別的特征向量逐步聚合為語句級(jí)別的特征向量包括：

在所述子詞級(jí)別的特征向量中與詞混淆網(wǎng)絡(luò)對(duì)應(yīng)各分詞的子詞級(jí)別的特征向量進(jìn)行平均，聚合為詞級(jí)別的特征向量，對(duì)所述詞級(jí)別的特征向量按照后驗(yàn)概率加權(quán)求和，確定分段級(jí)別的特征向量；

在所述子詞級(jí)別的特征向量中與所述上一輪對(duì)話的系統(tǒng)行為對(duì)應(yīng)的子詞級(jí)別的特征向量不變；

通過所述語句表示模塊中自注意力機(jī)制對(duì)所述與詞混淆網(wǎng)絡(luò)對(duì)應(yīng)的分段級(jí)別的特征向量以及與所述上一輪對(duì)話的系統(tǒng)行為對(duì)應(yīng)的子詞級(jí)別的特征向量進(jìn)行聚合，輸出所述本輪對(duì)話的語句級(jí)別的特征向量。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述語句級(jí)別的特征向量，輸出結(jié)構(gòu)化的行為-槽-值的三元組包括：

將所述語句級(jí)別的特征向量輸入至語義元組分類器，確定行為-槽的多標(biāo)簽分類器；

基于語義理解對(duì)每個(gè)候選的行為-槽對(duì)應(yīng)的值構(gòu)建一個(gè)多分類器；

將所述多標(biāo)簽分類器以及所述多分類器的分類結(jié)果組合，生成所述本輪對(duì)話的系統(tǒng)行為的語義三元組。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述語句級(jí)別的特征向量，輸出結(jié)構(gòu)化的行為-槽-值的三元組包括還包括：

將所述語句級(jí)別的特征向量輸入至層次解碼器，依次對(duì)行為、槽進(jìn)行分類，采用生成式的方式確定行為-槽對(duì)應(yīng)的值，生成所述本輪對(duì)話的系統(tǒng)行為的語義三元組。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)詞混淆網(wǎng)絡(luò)以及上一輪對(duì)話的系統(tǒng)行為進(jìn)行序列化包括：

當(dāng)所述詞混淆網(wǎng)絡(luò)或上一輪對(duì)話的系統(tǒng)行為中包括由多個(gè)單詞組成的復(fù)合詞時(shí)，將所述復(fù)合詞分割成多個(gè)單詞后，進(jìn)行序列化。