[發(fā)明專利]一種基于個性化開放領域的對話生成方法

有效

• 申請?zhí)枺?/td>: 202011097238.2
• 申請日: 2020-10-14
• 公開（公告）號: CN112199485B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設計）人: 郎大鵬;李子豫;程俊杰;張鵬偉;趙國冬;劉翔宇
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/126;G06F40/216;G06F40/284;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于自然語言處理技術領域，具體涉及一種基于個性化開放領域的對話生成方法。用戶輸入問句；在檢索庫中檢索，采用結(jié)合詞嵌入技術衡量句子形式上的相似度以及句子在語義上的相似度，若輸入的句子與檢索庫中的問題的相似度達到了某一閾值，則將該句子輸入到個性化模型中進行處理，不然，則將其輸入到通用模型中。本發(fā)明在基于深度學習技術使用大規(guī)模語料數(shù)據(jù)訓練得到開放領域生成式對話模型的同時，可以實現(xiàn)讓模型保持個性從而對特定問題擁有一致性回答。

技術領域

本發(fā)明屬于自然語言處理技術領域，具體涉及一種基于個性化開放領域的對話生成方法。

背景技術

對話系統(tǒng)一直是自然語言處理領域的一大研究熱點。傳統(tǒng)的基于檢索式的對話系統(tǒng)存在 泛化能力較差、不具備人們期待的情感等諸多問題。近年來隨著深度學習相關理論與技術的 發(fā)展，對話系統(tǒng)的實現(xiàn)開始從基于檢索式的逐漸向基于生成式的過度。

基于深度學習技術實現(xiàn)的對話生成算法通常需要借助大規(guī)模的語料數(shù)據(jù)，Serban等人提 出了基于RNN的方法讓模型從數(shù)據(jù)中自動學習特征的表示，節(jié)省特征提取工作的人力成本， 取得了優(yōu)于特征工程方法的結(jié)果。Seq2Seq模型是機器翻譯領域一種端到端的編碼器—解碼 器(Encoder-Decoder)模型較好地解決了深度神經(jīng)網(wǎng)絡只能刻畫等長映射的問題。鑒于人機 對話與機器翻譯實際上是很相似的任務，2015年谷歌團隊的Vinyals首次提出將Seq2Seq模 型應用在對話生成任務上，取得了很好的效果?；谏疃葘W習的對話生成技術目前仍然存在 很多問題，如難以進行多輪對話、生成的回復前后不一致等，但相比于各種檢索式實現(xiàn)方案， 它的最大優(yōu)點在于，對于任何問題它都能給出一個適當?shù)幕貜?，綜合來看，這是目前實現(xiàn)開 放領域?qū)υ捝扇蝿盏氖走x方案。

針對一致性問題，Iulian V.Serban團隊在2015年提出了一種利用三輪對話提高對話一致 性的模型，不過作者也表示其模型對預訓練的語料庫有很高要求。2016年，Li等人在Seq2Seq 模型中引入了SPEAKER MODEL以及SPEAKER-ADDRESSEE MODEL，新模型著重刻畫了 人物的一些角色信息(persona)等，并沒有涉及情緒與情感等方面的內(nèi)容，在一致性問題上 的表現(xiàn)效果較基礎模型有所提升但并不驚人。2017年，Sutskever提出一種涉及人物情感的模 型，通過對解碼器輸入部分進行一些改造，使模型生成的對話具有一定的情緒，取得了不錯 的效果，后續(xù)有研究者從這個角度嘗試處理一致性問題。2018年，F(xiàn)acebook團隊的Zhang等 人通過特制的數(shù)據(jù)集以及向模型中嵌入有利信息等方法為模型賦予了可配置但持久的角色， 在個性化的對話生成方向上取得很大進展?？偟膩碇v，生成式的對話系統(tǒng)由于技術限制等原 因一直以來受到的關注度并不高，所以對于這個領域的子課題——對話生成一致性的問題， 目前的相關研究還比較有限。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于個性化開放領域的對話生成方法。

本發(fā)明的目的通過如下技術方案來實現(xiàn)：包括以下步驟：

步驟1：用戶輸入問句；

步驟2：在檢索庫中檢索，獲取用戶輸入的問句的向量表示，并計算用戶輸入的問句與 檢索庫中問題的向量相似度；所述的獲取用戶輸入的問句的向量表示的方法具體為：

步驟2.1：基于詞嵌入和Skip-gram模型的詞向量計算；

將用戶輸入的問句輸入到Skip-gram模型中，模型會通過查詞向量表映射的方式確定對 應的詞向量，中心詞的詞向量確定之后，通過隱藏層進一步映射出中心詞上下文的詞向量表 示，之后對整體輸出進行一步Softmax處理，從而獲得輸出的上下文中對應單詞的概率，根 據(jù)此處得到的概率與實際的詞做交叉熵計算從而得到目標損失，最后再利用反向傳播算法獲 取參數(shù)梯度并進行參數(shù)的更新；

步驟2.2：通過詞嵌入技術獲得當前語料庫下的詞向量，再對句子中所有詞的詞向量求平 均，即可獲得一個句子的向量表示；