[發(fā)明專(zhuān)利]一種基于個(gè)性化開(kāi)放領(lǐng)域的對(duì)話生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011097238.2
• 申請(qǐng)日: 2020-10-14
• 公開(kāi)（公告）號(hào): CN112199485B
• 公開(kāi)（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 郎大鵬;李子豫;程俊杰;張鵬偉;趙國(guó)冬;劉翔宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類(lèi)號(hào): G06F16/332
• 分類(lèi)號(hào): G06F16/332;G06F16/33;G06F40/126;G06F40/216;G06F40/284;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于個(gè)性化開(kāi)放領(lǐng)域的對(duì)話生成方法，其特征在于，包括以下步驟：

步驟1：用戶(hù)輸入問(wèn)句；

步驟2：在檢索庫(kù)中檢索，獲取用戶(hù)輸入的問(wèn)句的向量表示，并計(jì)算用戶(hù)輸入的問(wèn)句與檢索庫(kù)中問(wèn)題的向量相似度；所述的獲取用戶(hù)輸入的問(wèn)句的向量表示的方法具體為：

步驟2.1：基于詞嵌入和Skip-gram模型的詞向量計(jì)算；

將用戶(hù)輸入的問(wèn)句輸入到Skip-gram模型中，模型會(huì)通過(guò)查詞向量表映射的方式確定對(duì)應(yīng)的詞向量，中心詞的詞向量確定之后，通過(guò)隱藏層進(jìn)一步映射出中心詞上下文的詞向量表示，之后對(duì)整體輸出進(jìn)行一步Softmax處理，從而獲得輸出的上下文中對(duì)應(yīng)單詞的概率，根據(jù)此處得到的概率與實(shí)際的詞做交叉熵計(jì)算從而得到目標(biāo)損失，最后再利用反向傳播算法獲取參數(shù)梯度并進(jìn)行參數(shù)的更新；

步驟2.2：通過(guò)詞嵌入技術(shù)獲得當(dāng)前語(yǔ)料庫(kù)下的詞向量，再對(duì)句子中所有詞的詞向量求平均，即可獲得一個(gè)句子的向量表示；

步驟3：若用戶(hù)輸入的問(wèn)句與檢索庫(kù)中的問(wèn)題的相似度達(dá)到了設(shè)定的閾值，則將該用戶(hù)輸入的問(wèn)句輸入到個(gè)性化模型中進(jìn)行處理；否則，將用戶(hù)輸入的問(wèn)句輸入到通用模型中進(jìn)行處理；

使用引入注意力機(jī)制以及DROP OUT機(jī)制的Seq2Seq模型，通過(guò)較小規(guī)模的個(gè)性化語(yǔ)料數(shù)據(jù)以及較大規(guī)模的通用語(yǔ)料數(shù)據(jù)構(gòu)建個(gè)性化模型和通用模型，并將所有個(gè)性化語(yǔ)料數(shù)據(jù)中的問(wèn)句作為一個(gè)檢索庫(kù)，用于分別處理涉及個(gè)性化信息的以及不涉及個(gè)性化信息的兩類(lèi)問(wèn)題；

所述的引入注意力機(jī)制的Seq2Seq模型具體為：

在未引入注意力機(jī)制時(shí)，解碼器的輸入僅由上下文向量C以及前一時(shí)刻的隱含層狀態(tài)共同組成，并且每一步中的上下文向量C都會(huì)被更新，引入注意力機(jī)制之后，解碼器在解碼過(guò)程中使用的上下文向量C均為針對(duì)當(dāng)前時(shí)刻輸出所選擇的最適合的上下文向量；解碼器輸出層用于預(yù)測(cè)單詞概率的公式如下所示：

p(y_i|y₁，…，y_i-1，x)＝g(y_i-1，s_i，c_i)

其中y_i-1表示i-1時(shí)刻的輸出；s_i為網(wǎng)絡(luò)模型在i時(shí)刻的隱含層狀態(tài)，計(jì)算公式如下：

s_i＝f(s_i-1，y_i-1，c_i)

注意力機(jī)制為每個(gè)單元分配的權(quán)重函數(shù)α_ij作用是衡量編碼器輸入序列在j時(shí)刻的隱含層狀態(tài)與解碼器在i時(shí)刻的輸出之間的關(guān)聯(lián)性，此時(shí)對(duì)于i時(shí)刻的上下文向量c_i，其值為隱含層狀態(tài)與權(quán)重函數(shù)α_ij的乘積：

其中權(quán)重函數(shù)的計(jì)算公式如下：

e_ij＝f(s_i-1，h_j)

步驟4：個(gè)性化模型或通用模型輸出答復(fù)句，完成對(duì)話。