[發(fā)明專利]一種語(yǔ)句的語(yǔ)義抽象化表示方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010828329.2
• 申請(qǐng)日: 2020-08-18
• 公開(kāi)（公告）號(hào): CN111737974B
• 公開(kāi)（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 徐芳;鄭茂盛;杜向陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 北京擎盾信息科技有限公司
• 主分類號(hào): G06F40/211
• 分類號(hào): G06F40/211;G06F40/30;G06F40/289;G06F16/332;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京中和立達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11756
• 代理人: 楊磊

1.一種語(yǔ)句的語(yǔ)義抽象化表示方法，其特征在于，所述方法包括：

獲取目標(biāo)語(yǔ)句，并對(duì)目標(biāo)語(yǔ)句進(jìn)行預(yù)處理操作，得到處理后的語(yǔ)句，其中，所述預(yù)處理操作包括分詞操作和詞性標(biāo)注操作；

從所述處理后的語(yǔ)句中提取多種特征，其中，所述特征包括以下至少一項(xiàng)：詞語(yǔ)級(jí)別的特征、詞性特征、依存特征和Bert獲取到的詞語(yǔ)的上下文相關(guān)特征；

對(duì)所述多種特征進(jìn)行聯(lián)合編碼，以獲取所述語(yǔ)句的最終向量；

對(duì)所述最終向量進(jìn)行解碼，以生成所述語(yǔ)句中不同詞語(yǔ)之間的依賴關(guān)系；

根據(jù)所述不同詞語(yǔ)之間的依賴關(guān)系生成所述語(yǔ)句對(duì)應(yīng)的抽象語(yǔ)義圖；

對(duì)所述多種特征進(jìn)行聯(lián)合編碼，以獲取所述語(yǔ)句的最終向量，包括：

根據(jù)所述詞語(yǔ)級(jí)別的特征、詞性特征和Bert獲取到的詞語(yǔ)的上下文相關(guān)特征，確定所述語(yǔ)句中每個(gè)詞語(yǔ)的密集向量、詞性標(biāo)注的密集向量和Bert向量；

對(duì)每個(gè)詞語(yǔ)的密集向量、詞性標(biāo)注的密集向量和Bert向量進(jìn)行拼接，得到每個(gè)詞語(yǔ)對(duì)應(yīng)的聯(lián)合向量；

采用雙向長(zhǎng)短期記憶網(wǎng)絡(luò)來(lái)學(xué)習(xí)每個(gè)詞語(yǔ)的聯(lián)合向量對(duì)應(yīng)的上下文表示向量；

采用雙向圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述每個(gè)詞語(yǔ)的依存特征進(jìn)行處理，以生成所述每個(gè)詞語(yǔ)的依賴特征向量；

將所述每個(gè)詞語(yǔ)對(duì)應(yīng)的上下文表示向量和依賴特征向量進(jìn)行拼接，得到每個(gè)詞語(yǔ)的最終向量；

將每個(gè)詞語(yǔ)的最終向量進(jìn)行拼接得到所述語(yǔ)句的最終向量；

對(duì)所述最終向量進(jìn)行解碼，以生成所述語(yǔ)句中不同詞語(yǔ)之間的依賴關(guān)系，包括：

使用雙仿射算法對(duì)所述每個(gè)詞語(yǔ)的最終向量進(jìn)行預(yù)測(cè)，生成所述每個(gè)詞語(yǔ)對(duì)應(yīng)的父節(jié)點(diǎn)位置標(biāo)簽；

使用多層感知機(jī)算法對(duì)所述詞語(yǔ)的最終向量進(jìn)行預(yù)測(cè)，生成所述每個(gè)詞語(yǔ)對(duì)應(yīng)的弧關(guān)系標(biāo)簽和是否保留標(biāo)簽。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述不同詞語(yǔ)之間的依賴關(guān)系生成所述語(yǔ)句對(duì)應(yīng)的抽象語(yǔ)義圖，包括：

根據(jù)每個(gè)詞語(yǔ)的是否保留標(biāo)簽確定是否保留該詞語(yǔ)；

對(duì)于保留下來(lái)的所有詞語(yǔ)，根據(jù)對(duì)應(yīng)的父節(jié)點(diǎn)位置標(biāo)簽和弧關(guān)系標(biāo)簽生成所述抽象語(yǔ)義圖。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，使用雙仿射算法對(duì)所述每個(gè)詞語(yǔ)的最終向量進(jìn)行預(yù)測(cè)，生成所述每個(gè)詞語(yǔ)對(duì)應(yīng)的父節(jié)點(diǎn)位置標(biāo)簽，包括：

使用以下公式計(jì)算每個(gè)詞語(yǔ)對(duì)應(yīng)的父節(jié)點(diǎn)位置標(biāo)簽的值；

其中，表示父節(jié)點(diǎn)位置標(biāo)簽的值，R表示所述語(yǔ)句的最終向量，表示權(quán)重矩陣，表示偏置值，表示第i個(gè)詞語(yǔ)的最終向量。