[發(fā)明專利]一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法

在審

• 申請?zhí)枺?/td>: 202310536762.2
• 申請日: 2023-05-12
• 公開（公告）號: CN116629274A
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計）人: 胥備;許鵬;任雅靖
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F40/211;G06F18/2431;G06N3/0464;G06N3/09
• 代理公司: 南京禹為知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32272
• 代理人: 褚曉英

1.一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，其特征在于，包括：

搜集多輪對話數(shù)據(jù)集，以問句形式的句子為中心，構(gòu)造數(shù)據(jù)集格式；

對構(gòu)建的數(shù)據(jù)集，對每一句話進行情感標(biāo)注，得到每一句話的情感標(biāo)簽，得到訓(xùn)練集、測試集和驗證集；

利用訓(xùn)練集訓(xùn)練GPT2模型，根據(jù)不同的情感融入方式以及多任務(wù)學(xué)習(xí)機制對模型進行改進；

用測試集驗證基于GPT2的改進模型，采用基于提示學(xué)習(xí)的情感引導(dǎo)評價機制。

2.如權(quán)利要求1所述的一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，其特征在于，所述情感標(biāo)注包括：選取悲傷、快樂、憤怒、害怕四類情感類別進行實驗，選擇準(zhǔn)確率較高的Bert和Roberta模型權(quán)重在人工標(biāo)注數(shù)據(jù)集的基礎(chǔ)上進行自動情感標(biāo)注。

3.如權(quán)利要求2所述的一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，其特征在于，所述對模型進行改進包括：通過在輸入部分使用不同的情感融入句子的方法增加多任務(wù)學(xué)習(xí)機制。

4.如權(quán)利要求3所述的一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，其特征在于，所述情感引導(dǎo)評價機制包括：模型采用基于提示學(xué)習(xí)的方法，間接地評價生成的句子是否能夠給對方帶來某種情感的引導(dǎo)。

5.如權(quán)利要求4所述的一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，其特征在于，所述搜集多輪對話數(shù)據(jù)集包括：檢索對話中的問題句型，將問題句型設(shè)置為Q，問題Q的前一句作為上下文C，問題Q的下一句作為對于Q的響應(yīng)R，C，Q，R三元組作為一條實驗數(shù)據(jù)。

6.如權(quán)利要求5所述的一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，其特征在于，所述情感標(biāo)注包括：針對每個情感類別，各手動標(biāo)注數(shù)據(jù)中C和R的情感。

7.如權(quán)利要求6所述的一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，其特征在于，情感表示表示為：

H^l＝Trans???(H^l-1)

H⁰＝Emb???(I)

H_e＝Truncate?????(H^l)

P_e＝Softmax(W_pH_c)

其中H^l∈R^len×d表示在第一層的輸出，H⁰表示在第一層的輸出，H_c表示隱層向量，W_p∈R^d×|s|是一個可學(xué)習(xí)的參數(shù)，P_e表示C的情感的概率分布；

使用交叉熵?fù)p失來最小化預(yù)測的概率和真實情感，表示為：

e^*表示情感的真實標(biāo)簽；

最終的訓(xùn)練目標(biāo)：

其中表示解碼中在步驟t時的隱藏層表示，W_v∈R^d×|V|是一個可訓(xùn)練參數(shù)；

最小化生成部分的負(fù)對數(shù)損失為：

8.如權(quán)利要求7所述的一種基于GPT的具有情緒引導(dǎo)功能的問題生成方法，其特征在于，損失函數(shù)為兩部分優(yōu)化目標(biāo)的損失函數(shù)之和，表示為：

其中α是一個超參數(shù)，用來平衡兩個任務(wù)的比重。

9.一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至8中任一項所述的方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至8中任一項所述的方法的步驟。