[發(fā)明專利]一種摘要的生成方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210408534.2
• 申請(qǐng)日: 2022-04-19
• 公開(kāi)（公告）號(hào): CN115329064A
• 公開(kāi)（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 周玉;林海濤;向露;宗成慶
• 申請(qǐng)（專利權(quán)）人: 北京中科凡語(yǔ)科技有限公司
• 主分類號(hào): G06F16/34
• 分類號(hào): G06F16/34;G06F16/332
• 代理公司: 湖北權(quán)上知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42287
• 代理人: 范瑞鵬

1.一種摘要的生成方法，其特征在于，包括以下步驟：

S1、解碼器根據(jù)訓(xùn)練數(shù)據(jù)庫(kù)中的構(gòu)建詞表逐步獲得對(duì)應(yīng)的角色在輸出詞表中的相關(guān)單詞的輸出概率；

S2、將輸出概率最大的k個(gè)單詞提取出來(lái)拼接到模型中已解碼的單詞序列上作為候選摘要，其中k大于1；

S3、模型將多個(gè)候選摘要按照輸出概率的大小進(jìn)行排序，并確保束的大小為k；模型預(yù)測(cè)結(jié)束后，取輸出概率最大的候選序列作為摘要。

2.根據(jù)權(quán)利要求1所述的摘要的生成方法，其特征在于，在步驟S1中，所述角色包括用戶角色和客服角色。

3.根據(jù)權(quán)利要求1所述的摘要的生成方法，其特征在于，在步驟S1之前還包括建立和優(yōu)化摘要生成模型，具體包括以下步驟：

T1、采用不同的編碼器將對(duì)話內(nèi)容按照不同的角色進(jìn)行相應(yīng)編碼；

T2、解碼器根據(jù)對(duì)應(yīng)的角色獲取該角色的語(yǔ)句表示，解碼器解碼時(shí)采用不同的注意力模塊關(guān)注到其他角色的語(yǔ)句表示；

T3、計(jì)算不同解碼器關(guān)注到同一個(gè)角色的語(yǔ)句表示的跨越注意力分布的KL散度，得到跨越注意力交互的損失函數(shù)；

T4、在解碼器的自注意力模塊中，每個(gè)解碼器的隱層表示關(guān)注到其他解碼器的隱層表示，形成角色自注意力交互；

T5、解碼器預(yù)測(cè)每個(gè)位置單詞的輸出概率，根據(jù)所述輸出概率結(jié)合最大似然估計(jì)得到摘要的損失函數(shù)；

T6、綜合所述跨越注意力交互的損失函數(shù)和所述摘要的損失函數(shù)，對(duì)于模型進(jìn)行梯度下降的訓(xùn)練和優(yōu)化。

4.根據(jù)權(quán)利要求3所述的摘要的生成方法，其特征在于，在步驟T1中，所述采用不同的編碼器將對(duì)話內(nèi)容按照不同的角色進(jìn)行相應(yīng)編碼包括：

步驟T11、將對(duì)話語(yǔ)句的說(shuō)話人角色信息和對(duì)話內(nèi)容按輪次順序拼接在一起，經(jīng)過(guò)詞嵌入層得到詞嵌入表示；

步驟T12、使用編碼器將所述詞嵌入表示進(jìn)行編碼，得到對(duì)話中每個(gè)詞的表示。

5.根據(jù)權(quán)利要求3所述的摘要的生成方法，其特征在于，在步驟T2中，所述解碼器根據(jù)對(duì)應(yīng)的角色獲取該角色的語(yǔ)句表示，解碼器解碼時(shí)采用不同的注意力模塊關(guān)注到其他角色的語(yǔ)句表示包括：

步驟T21、根據(jù)對(duì)話中每句話的說(shuō)話人角色，將對(duì)話按照不同的角色進(jìn)行表示；

步驟T22、解碼器對(duì)于所有角色的語(yǔ)句分別進(jìn)行注意力的關(guān)注，得到注意力的分布表示以及編碼器上下文表示。

6.根據(jù)權(quán)利要求3所述的摘要的生成方法，其特征在于，在步驟T4中，所述在解碼器的自注意力模塊中，每個(gè)解碼器的隱層表示關(guān)注到其他解碼器的隱層表示，形成角色自注意力交互包括：

步驟T41、每個(gè)解碼器根據(jù)上一時(shí)刻的解碼狀態(tài)和當(dāng)前的輸入信息，得到解碼器當(dāng)前時(shí)刻的隱層狀態(tài)；

步驟T42、將解碼器當(dāng)前時(shí)刻的隱層狀態(tài)關(guān)注到其他解碼器所有之前時(shí)刻的隱層狀態(tài)，得到角色摘要的上下文表示。

7.根據(jù)權(quán)利要求3所述的摘要的生成方法，其特征在于，在步驟T5中，所述解碼器預(yù)測(cè)每個(gè)位置單詞的輸出概率包括：

解碼器根據(jù)自身的隱層狀態(tài)信息、編碼器上下文表示和角色摘要的上下文表示，預(yù)測(cè)摘要中每個(gè)位置的單詞的輸出概率。

8.根據(jù)權(quán)利要求3所述的摘要的生成方法，其特征在于，在步驟T6中，所述綜合所述跨越注意力交互的損失函數(shù)和所述摘要的損失函數(shù)，對(duì)于模型進(jìn)行梯度下降的訓(xùn)練和優(yōu)化包括：

T61、將跨越注意力交互的損失函數(shù)和摘要的損失函數(shù)進(jìn)行加權(quán)融合；

T62、使用梯度下降算法對(duì)模型進(jìn)行訓(xùn)練和優(yōu)化至損失在驗(yàn)證集上不再下降為止。

9.一種摘要的生成裝置，其特征在于，包括：

解碼器，用于根據(jù)訓(xùn)練數(shù)據(jù)庫(kù)中的構(gòu)建詞表逐步獲得對(duì)應(yīng)的角色在輸出詞表中的相關(guān)單詞的輸出概率；

數(shù)據(jù)處理單元，用于將輸出概率最大的k個(gè)單詞提取出來(lái)拼接到模型中已解碼的單詞序列上作為候選摘要，其中k大于1；

摘要生成單元，將多個(gè)候選摘要按照輸出概率的大小進(jìn)行排序，并確保束的大小為k；預(yù)測(cè)結(jié)束后，取輸出概率最大的單詞生成摘要。

10.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述摘要的生成方法的步驟。