[發(fā)明專利]一種面向?qū)υ捛楦凶R別的對比式上下文理解增強(qiáng)方法

在審

• 申請?zhí)枺?/td>: 202111217510.0
• 申請日: 2021-10-19
• 公開（公告）號: CN113946670A
• 公開（公告）日: 2022-01-18
• 發(fā)明（設(shè)計(jì)）人: 宋大為;張寒青
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/35;G06F40/247
• 代理公司: 北京正陽理工知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 張利萍

本發(fā)明涉及一種面向?qū)υ捛楦凶R別的對比式上下文理解增強(qiáng)方法，屬于計(jì)算機(jī)與信息科學(xué)技術(shù)領(lǐng)域。首先，基于已有的對話情感分析框架，提取出其中用于情感分類的隱藏狀態(tài)序列。然后，基于提取的序列表示，構(gòu)建包含上下文語義感知模式的對比樣本。之后，利用對比學(xué)習(xí)損失函數(shù)，讓模型能夠從樣本中學(xué)習(xí)到其包含的模式，以增強(qiáng)模型對于對話上下文的理解能力。最后，將對比損失和情感分類損失函數(shù)相加并進(jìn)行多任務(wù)學(xué)習(xí)，完成網(wǎng)絡(luò)模型訓(xùn)練。本方法具有較強(qiáng)地適配性，可以靈活地嵌入到已有的情感分類模型中，能夠讓模型在一定程度上從對話上下文內(nèi)容理解的角度進(jìn)行情感判別，同時(shí)能有效提升已有模型的情感分類準(zhǔn)確率和面對擾動的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種面向?qū)υ捛楦凶R別的對比式上下文理解增強(qiáng)方法，屬于計(jì)算機(jī)與信息科學(xué)技術(shù)領(lǐng)域。

背景技術(shù)

對話情感識別(CER)的研究目標(biāo)是針對一段對話中每一個(gè)會話的情感進(jìn)行判別。有效的對話情感識別，對于構(gòu)建對話系統(tǒng)十分關(guān)鍵。如果對話系統(tǒng)能夠考慮到用戶的情緒狀態(tài)，將使其表現(xiàn)出類人的同理心，這對于提高對話系統(tǒng)人機(jī)交互的用戶友好性具有重要的價(jià)值。因此，對話情感識別的研究，近年來引起了越來越多的關(guān)注。

隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，基于神經(jīng)網(wǎng)絡(luò)情感識別方法在性能上取得了一定的突破。目前，現(xiàn)有方法大多致力于建立一個(gè)更加有效的話語表征，以更好地建模對話上下文。具體而言，將對話中的話語視為一個(gè)序列，并利用自然語言處理中常用的序列模型，如循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、變壓器(Transformer)和圖神經(jīng)網(wǎng)路(GCN)等，來聚合每個(gè)目標(biāo)話語上的各種情緒影響因素(如說話者間影響、說話者內(nèi)影響、話題、個(gè)性等)，得到最終的話語層面情緒識別向量表示，最后進(jìn)行情感分類。然而，對話的過程會受到主題、對話者意圖、觀點(diǎn)、論證邏輯等眾多因素的影響，致使這些方法依然難以有效地通過理解上下文信息而對當(dāng)前會話者的情緒做出判斷，因而讓已有模型的分類準(zhǔn)確率和魯棒性受到了一定的限制。

綜上所述，本申請?zhí)岢隽艘环N面向?qū)υ捛楦凶R別的對比式上下文理解增強(qiáng)方法。通過引入對比學(xué)習(xí)，強(qiáng)制讓已有的對話情感分類模型在完成情感判別同時(shí)也關(guān)注上下文的信息，增強(qiáng)其在對話上下文的理解，提升模型情感分類的準(zhǔn)確率和魯棒性。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)對話情感識別方法存在的對話上下文的理解不足，導(dǎo)致分類準(zhǔn)確率低和模型魯棒性差的技術(shù)問題，提出一種面向?qū)υ捛楦凶R別的對比式上下文理解增強(qiáng)方法。通過引入對比學(xué)習(xí)，強(qiáng)制讓已有的對話情感分類模型在完成情感判別同時(shí)也關(guān)注上下文的信息，增強(qiáng)其在對話上下文的理解，提升了模型情感分類的準(zhǔn)確率和魯棒性。

本發(fā)明的創(chuàng)新點(diǎn)在于：首先，基于已有的對話情感分析框架，提取出其中用于情感分類的隱藏狀態(tài)序列。然后，基于提取的序列表示，構(gòu)建包含上下文語義感知模式的對比樣本。之后，利用對比學(xué)習(xí)損失函數(shù)，讓模型能夠從樣本中學(xué)習(xí)到其包含的模式，以增強(qiáng)模型對于對話上下文的理解能力。最后，將對比損失和情感分類損失函數(shù)相加并進(jìn)行多任務(wù)學(xué)習(xí)，完成網(wǎng)絡(luò)模型訓(xùn)練。

本發(fā)明的技術(shù)方案通過如下步驟實(shí)現(xiàn)。

一種面向?qū)υ捛楦凶R別的對比式上下文理解增強(qiáng)方法，包括以下步驟：

步驟1：提取已有情感分類框架中的情感表示序列。

具體地，可以采用以下方法：

步驟1.1：將對話的會話文本進(jìn)行向量化，得到其相應(yīng)的分布式文本表示。

步驟1.2：將步驟1.1的文本表示送入已有的對話情感分類模型，得到模型全連接分類層之前的情感表示序列。

步驟2：構(gòu)建包含上下文感知特性的對比樣本對。

具體地，可以采用以下方法：

步驟2.1：將每一個(gè)待分類的目標(biāo)會話情感表示的歷史信息進(jìn)行編碼，得到其上下文的抽象表示。