[發明專利]更新句子生成模型的方法以及句子生成設備

在審

• 申請號: 201810478297.0
• 申請日: 2018-05-18
• 公開（公告）號: CN109670147A
• 公開（公告）日: 2019-04-23
• 發明（設計）人: 李鎬式;羅輝棟
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06F17/20
• 分類號: G06F17/20;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 姜長星;張川緒

提供一種更新句子生成模型的方法以及句子生成設備。一種更新句子生成模型的方法包括：使用第一解碼模型生成與源句子對應的目標句子；使用第二解碼模型，來計算與目標句子相關聯的獎勵信息，其中，第二解碼模型被配置為以與由第一解碼模型生成的句子的次序不同的次序生成句子；基于計算的獎勵信息，重新設置第一解碼模型中的每個節點的權重。

本申請要求于2017年10月16日提交到韓國知識產權局的第10-2017-0133971號韓國專利申請的權益，所述韓國專利申請的全部公開出于所有目的通過引用合并于此。

技術領域

下面的描述涉及一種更新用于生成句子的句子生成模型的方法以及使用句子生成模型生成句子的方法。

背景技術

近來，已經積極開展了關于使用神經網絡生成句子的技術的研究。該技術應用于各種應用，諸如，生成原始句子的翻譯句子的翻譯器以及與用戶對話的會話代理。用于該技術的神經網絡模擬以數學表達式表示的人的生物神經元的特性，并使用模仿人的學習能力的算法。神經網絡可具有響應于尚未用于學習或訓練的輸入模式基于學習或訓練的結果生成相對正確的輸出的泛化能力。

發明內容

提供本發明內容從而以簡化的形式介紹在下面的具體實施方式中進一步描述的構思的選擇。本發明內容不意圖標識要求保護的主題的關鍵特征或必要特征，也不意圖用于幫助確定要求保護的主題的范圍。

在一個總體方面，一種更新句子生成模型的方法包括：使用第一解碼模型生成與源句子對應的目標句子；使用被配置為以與由第一解碼模型生成的句子的次序不同的次序生成句子的第二解碼模型，來計算與目標句子相關聯的獎勵信息；基于計算的獎勵信息，重新設置第一解碼模型中的每個節點的權重。

計算獎勵信息的步驟可包括：基于從第二解碼模型生成包括在目標句子中的每個詞的概率，來計算獎勵信息。

計算獎勵信息的步驟還可包括：使用源句子和在先前時間從第二解碼模型輸出的第一詞，計算在當前時間從第二解碼模型生成第二詞的概率。

計算獎勵信息的步驟可包括：使用包括在目標句子中的詞以與目標句子中的所述詞的次序不同的次序排列的序列，來計算獎勵信息。

第一解碼模型可以是包括循環神經網絡(RNN)的前向解碼模型，第二解碼模型可以是包括RNN的后向解碼模型。

重新設置權重的步驟可包括：使用第一解碼模型，計算與目標句子相關聯的策略信息；使用計算的策略信息和計算的獎勵信息，重新設置與預設條件對應的權重。

計算策略信息的步驟可包括：基于從第一解碼模型生成包括在目標句子中的每個詞的概率，來計算策略信息。

計算策略信息的步驟還可包括：使用源句子和在先前時間從第一解碼模型輸出的第一詞，計算在當前時間從第一解碼模型生成第二詞的概率。

計算權重的步驟可包括：重新設置使由獎勵信息和與多個目標句子中的每個目標句子相關聯的策略信息定義的目標函數最大化的權重。可使用第一解碼模型從源句子生成所述多個目標句子。

計算權重的步驟可包括：重新設置使由目標函數和從第一解碼模型生成源句子的預定正確句子的概率定義的損失函數最小化的權重。這里，可使用第一解碼模型從源句子生成多個目標句子，可由獎勵信息和與所述多個目標句子中的每個目標句子相關聯的策略信息來定義目標函數。

生成目標句子的步驟可包括：基于響應于源句子從第一解碼模型輸出的最終結果值中的在預設范圍內的最終結果值，生成多個目標句子。

生成目標句子的步驟可包括：基于響應于源句子中的詞在第一時間從第一解碼模型輸出的輸出值，生成多個目標句子。計算獎勵信息的步驟可包括：使用第二解碼模型，計算與在第一時間生成的所述多個目標句子相關聯的獎勵信息。