[發(fā)明專利]一種改進(jìn)的語(yǔ)義意圖識(shí)別方法以及LSTM構(gòu)架系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010693872.6
• 申請(qǐng)日: 2020-07-17
• 公開（公告）號(hào): CN111914547A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 張宗世;汪溪;張世俠
• 申請(qǐng)（專利權(quán)）人: 深圳宜搜天下科技股份有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 深圳市舜立知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44335
• 代理人: 侯藝

1.一種改進(jìn)的語(yǔ)義意圖識(shí)別方法，包括以下步驟：

獲取訓(xùn)練語(yǔ)料；

中文分詞：對(duì)獲取到的訓(xùn)練語(yǔ)料進(jìn)行中文分詞；

去除停用詞及標(biāo)點(diǎn)符號(hào)：去除訓(xùn)練語(yǔ)料中的停用詞及符號(hào)，從而得到訓(xùn)練語(yǔ)料的若干特征詞；

詞向量計(jì)算：計(jì)算所述訓(xùn)練語(yǔ)料中每一個(gè)特征詞的詞向量，從而得到每一個(gè)特征詞的詞向量；

根據(jù)所述訓(xùn)練語(yǔ)料中特征詞的數(shù)量n以及每一特征詞的詞向量維度m，生成對(duì)應(yīng)的m*n的詞向量矩陣，將該詞向量矩陣輸入至疊加式LSTM架構(gòu)以對(duì)所述訓(xùn)練語(yǔ)料進(jìn)行學(xué)習(xí)訓(xùn)練；其中，所述疊加式LSTM架構(gòu)由多個(gè)LSTM層疊加而成，首個(gè)LSTM層對(duì)所述詞向量矩陣進(jìn)行學(xué)習(xí)訓(xùn)練，生成學(xué)習(xí)訓(xùn)練后的第一特征數(shù)值矩陣，該首個(gè)LSTM層學(xué)習(xí)訓(xùn)練后的第一特征數(shù)值矩陣作為下一個(gè)LSTM層的輸入，最后一個(gè)LSTM層對(duì)上一個(gè)LSTM層輸出的特征數(shù)值矩陣進(jìn)行學(xué)習(xí)訓(xùn)練，從而輸出經(jīng)過(guò)學(xué)習(xí)訓(xùn)練后的第二特征數(shù)值矩陣；

將最后一個(gè)LSTM層輸出的第二特征數(shù)值矩陣通過(guò)外接的softmax函數(shù)對(duì)其進(jìn)行分類，從而將所述訓(xùn)練語(yǔ)料分類至對(duì)應(yīng)的意圖分類中。

2.如權(quán)利要求1所述的改進(jìn)的語(yǔ)義意圖識(shí)別方法，其特征在于，在獲取訓(xùn)練語(yǔ)料的步驟中，通過(guò)人工標(biāo)注方式或爬蟲采集方式獲取所述訓(xùn)練語(yǔ)料。

3.如權(quán)利要求1所述的語(yǔ)義意圖識(shí)別方法，其特征在于，在中文分詞的步驟中，通過(guò)開源的jieba分詞對(duì)所述獲取到的訓(xùn)練語(yǔ)料進(jìn)行中文分詞。

4.如權(quán)利要求1所述的語(yǔ)義意圖識(shí)別方法，其特征在于，在去除停用詞及標(biāo)點(diǎn)符號(hào)的步驟中，建立停用詞/字典，去除副詞、形容詞、連接詞以及標(biāo)點(diǎn)符號(hào)。

5.如權(quán)利要求1所述的語(yǔ)義意圖識(shí)別方法，其特征在于，在詞向量計(jì)算的步驟中，采用Word2Vec計(jì)算所述訓(xùn)練語(yǔ)料中每一個(gè)特征詞的詞向量，從而得到每一個(gè)特征詞的詞向量。

6.一種疊加式LSTM架構(gòu)系統(tǒng)，包括：輸入層、疊加式LSTM架構(gòu)以及輸出層，所述疊加式LSTM架構(gòu)由多個(gè)LSTM層疊加而成；

所述輸入層用于根據(jù)訓(xùn)練語(yǔ)料中特征詞的數(shù)量n以及每一特征詞的詞向量維度m，生成對(duì)應(yīng)的m*n的詞向量矩陣，將該詞向量矩陣輸入至首個(gè)LSTM層；

所述首個(gè)LSTM層對(duì)所述詞向量矩陣進(jìn)行學(xué)習(xí)訓(xùn)練，生成學(xué)習(xí)訓(xùn)練后的第一特征數(shù)值矩陣，該首個(gè)LSTM層學(xué)習(xí)訓(xùn)練后的第一特征數(shù)值矩陣作為下一個(gè)LSTM層的輸入，最后一個(gè)LSTM層對(duì)上一個(gè)LSTM層輸出的特征數(shù)值矩陣進(jìn)行學(xué)習(xí)訓(xùn)練，從而輸出經(jīng)過(guò)學(xué)習(xí)訓(xùn)練后的第二特征數(shù)值矩陣；

所述輸出層用于通過(guò)外接的softmax函數(shù)對(duì)第二特征數(shù)值矩陣進(jìn)行分類，從而將所述訓(xùn)練語(yǔ)料分類至對(duì)應(yīng)的意圖分類中。

7.如權(quán)利要求6所述的疊加式LSTM架構(gòu)系統(tǒng)，其特征在于，所述疊加式LSTM架構(gòu)由首個(gè)LSTM層和最后一個(gè)LSTM層疊加而成，其中：

所述首個(gè)LSTM層對(duì)所述輸入層輸入的詞向量矩陣進(jìn)行學(xué)習(xí)訓(xùn)練，生成與所述詞向量矩陣結(jié)構(gòu)相同的第一特征數(shù)值矩陣；

所述最后一個(gè)LSTM層用于對(duì)首個(gè)LSTM層輸出的第一特征數(shù)值矩陣進(jìn)行學(xué)習(xí)訓(xùn)練，從而生成與所述第一特征數(shù)值矩陣結(jié)構(gòu)相同的第二特征數(shù)值矩陣。

8.如權(quán)利要求6所述的疊加式LSTM架構(gòu)系統(tǒng)，其特征在于，所述疊加式LSTM架構(gòu)由首個(gè)LSTM層、中間LSTM層以及最后一個(gè)LSTM層疊加而成，其中：

所述首個(gè)LSTM層對(duì)所述輸入層輸入的詞向量矩陣進(jìn)行學(xué)習(xí)訓(xùn)練，生成與所述詞向量矩陣結(jié)構(gòu)相同的第一特征數(shù)值矩陣；

所述中間LSTM層用于將所述第一特征數(shù)值矩陣作為輸入，并對(duì)其進(jìn)行學(xué)習(xí)訓(xùn)練，從而生成與所述第一特征數(shù)值矩陣結(jié)構(gòu)相同的特征數(shù)值矩陣，并將其輸出至所述最后一個(gè)LSTM層；

所述最后一個(gè)LSTM層用于對(duì)所述中間LSTM層輸出的特征數(shù)值矩陣進(jìn)行學(xué)習(xí)訓(xùn)練，從而生成與所述中間LSTM層輸出的特征數(shù)值矩陣結(jié)構(gòu)相同的第二特征數(shù)值矩陣。