[發(fā)明專利]一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法

在審

• 申請?zhí)枺?/td>: 202310536762.2
• 申請日: 2023-05-12
• 公開（公告）號: CN116629274A
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計）人: 胥備;許鵬;任雅靖
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F40/211;G06F18/2431;G06N3/0464;G06N3/09
• 代理公司: 南京禹為知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32272
• 代理人: 褚曉英

本發(fā)明公開一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法包括：搜集噪音較少的多輪對話數(shù)據(jù)集，并以問句形式的句子為中心，構(gòu)造為我們需要的數(shù)據(jù)集格式；對所述構(gòu)建的數(shù)據(jù)集，采用人工微調(diào)加自動標(biāo)注的方式，對每一句話進行情感標(biāo)注，得到每一句話的情感標(biāo)簽，得到訓(xùn)練集、測試集和驗證集；利用訓(xùn)練集訓(xùn)練GPT2模型，根據(jù)不同的情感融入方式以及多任務(wù)學(xué)習(xí)機制對模型進行改進；用測試集驗證基于GPT2的改進模型，并發(fā)明了基于提示學(xué)習(xí)的情感引導(dǎo)評價機制，本發(fā)明提供的一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法的方法；本發(fā)明在模型對情感的感知能力，模型的學(xué)習(xí)能力上都取得了更加良好的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語言處理、文本生成、情感計算領(lǐng)域，是一種基于預(yù)訓(xùn)練的，能夠生成情緒引導(dǎo)問題的語言生成方法。

背景技術(shù)

自然語言是人們進行情感交流的媒介系統(tǒng)。分析情感如何融入語言之中以及語言如何表達甚至激發(fā)情感，不僅可以幫助我們更好地理解情感語義，而且在疾病治療、抑郁癥發(fā)現(xiàn)、現(xiàn)代化智能仿真機器人也都大有裨益。

自然語言符號本身攜帶的情感和能夠激發(fā)用戶產(chǎn)生的情感是兩類不同的情感。以往對話情感生成研究研究重點關(guān)注前者，即在給定上下文和指定的目標(biāo)情感條件下，生成本身攜帶目標(biāo)情感的對話響應(yīng)，以及由模型根據(jù)上下文自行決定下一句的情感并生成相應(yīng)的響應(yīng)。首次將情感因素引入到神經(jīng)生成模型中，定義了一個能量項，通過上下文、情感強度和情感因素來生成響應(yīng)。首次將情感因素引入到對話生成的工作，提出ECM(Emotionalchattingmachine)模型，他使用seq2seq架構(gòu)，通過情感類別向量建模抽象的情感表示，引入內(nèi)部情感記憶模塊和外部情感詞典分別來捕獲解碼生成過程中的情感狀態(tài)和動態(tài)地選擇合適的情感詞，從而生成帶有指定情感類別的回復(fù)。但這種方式的應(yīng)用場景極其有限，在共情場景，上述研究僅能根據(jù)對方話語的情感，做出一樣的響應(yīng)情感選擇，若對方比較悲傷，此時要做的是盡量讓對方脫離悲傷的情緒而不是繼續(xù)說一些悲傷的話，導(dǎo)致沒有從悲傷到歡樂的轉(zhuǎn)換；在智能機器人場景，一個機器只會順著用戶的情感說話，因此顯得不夠智能，影響了對話的持續(xù)開展。此外，以往的研究沒有關(guān)注對話句子的形式在情感對話中的作用，問句相比陳述句，天然具有增進信任深入交流、開啟新話題、表達誠意等作用。提問人被認(rèn)為體現(xiàn)了傾聽、理解、確認(rèn)和關(guān)系，這是一種人際結(jié)構(gòu)，而且提問也會增加人際間的好感。在對話過程中展現(xiàn)出好奇心是建立有意義交流和平等理解關(guān)系的基礎(chǔ)。關(guān)注到問題在對話情感中的作用，構(gòu)建了一個數(shù)據(jù)集來分析了問題的意圖和行為來支撐對共情對話的演技。

最初對于情感對話方向的研究大都是基于規(guī)則的方法或是基于統(tǒng)計的方法固定地嵌入一些情感詞結(jié)合上下文生成響應(yīng)，這種方式生成的響應(yīng)十分呆板，并且有時候不通順。得益于互聯(lián)網(wǎng)的普及以及深度學(xué)習(xí)技術(shù)的快速發(fā)展，從網(wǎng)絡(luò)上獲取的大量對話數(shù)據(jù)，使用數(shù)據(jù)驅(qū)動的方式訓(xùn)練深度學(xué)習(xí)模型，顯著地促進了開放與對話系統(tǒng)發(fā)展?；赥ransformer+Decoder的、以GPT為代表的自回歸生成模型已經(jīng)被證明相比基于Encoder的模型一般具有更好的性能，但是原始的GPT僅僅適合于非可控對話，人無法對生成的內(nèi)容加以干預(yù)，所以無法生成一段帶有指定情感問句形式的響應(yīng)。

發(fā)明內(nèi)容

本部分的目的在于概述本發(fā)明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發(fā)明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發(fā)明名稱的目的模糊，而這種簡化或省略不能用于限制本發(fā)明的范圍。

鑒于上述存在的問題，提出了本發(fā)明。

因此，本發(fā)明解決的技術(shù)問題是：原始的GPT僅僅適合于非可控對話，人無法對生成的內(nèi)容加以干預(yù)，所以無法生成一段帶有指定情感問句形式的響應(yīng)。

為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，包括：

數(shù)據(jù)集搜集。搜集噪音較少的多輪對話數(shù)據(jù)集，并以問句形式的句子為中心，構(gòu)造為我們需要的數(shù)據(jù)集格式；