[發(fā)明專利]語言處理裝置、語言處理系統(tǒng)和語言處理方法

有效

• 申請?zhí)枺?/td>: 201780097039.1
• 申請日: 2017-11-29
• 公開（公告）號: CN111373391B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設計）人: 城光英彰
• 申請（專利權）人: 三菱電機株式會社
• 主分類號: G06F16/332
• 分類號: G06F16/332
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 馬建軍;鄧毅

在語言處理裝置(2)中，向量統(tǒng)合部(23)生成對與輸入句對應的詞袋向量和與輸入句對應的意思向量進行統(tǒng)合而得到的統(tǒng)合向量。應答句選擇部(24)根據由向量統(tǒng)合部(23)生成的統(tǒng)合向量，從詢問應答DB(25)中選擇與輸入句對應的應答句。

技術領域

本發(fā)明涉及語言處理裝置、語言處理系統(tǒng)和語言處理方法。

背景技術

作為根據大量信息提示必要信息的技術之一，存在詢問應答技術。詢問應答技術的目的在于，將用戶平時使用的語句直接作為輸入，恰當?shù)剌敵鲇脩粜枰男畔ⅰＴ谔幚碛脩羝綍r使用的語句時，適當?shù)靥幚泶嬖谟谔幚韺ο缶渥又械奈粗~即事前準備的文檔中未使用的單詞是重要的。

例如，在非專利文獻1記載的現(xiàn)有技術中，通過使用大規(guī)模語料庫的機器學習來判斷單詞和句子周圍的上下文，由此，利用表示單詞和句子的意思的數(shù)值向量(以下記作意思向量)表現(xiàn)處理對象句子。在生成意思向量時使用的大規(guī)模語料庫包含大量詞匯，因此，具有在處理對象句子中不容易產生未知詞這樣的優(yōu)點。

現(xiàn)有技術文獻

非專利文獻

非專利文獻1：Tomas Mikolov,Kai Chen,Greg Corrado,and Jeffrey Dean,“Efficient Estimation of Word Representations in Vector Space”,ICLR 2013.

發(fā)明內容

發(fā)明要解決的課題

非專利文獻1記載的現(xiàn)有技術使用大規(guī)模語料庫，由此應對未知詞的問題。

但是，在非專利文獻1記載的現(xiàn)有技術中，在雖然是相互不同的單詞和句子但其周圍的上下文相似時，它們被映射到相似的意思向量。因此，利用意思向量表現(xiàn)的單詞和句子的意思含糊，存在難以區(qū)分這樣的課題。

例如，在“告知冷凍庫中的冷凍食品的大致保存期間”這樣的句子A和“告知制冰室中的冷凍食品的大致保存期間”這樣的句子B中，包含“冷凍庫”和“制冰室”這樣的相互不同的單詞，但是，“冷凍庫”周圍的上下文和“制冰室”周圍的上下文相同。因此，在非專利文獻1記載的現(xiàn)有技術中，句子A和句子B被映射到相似的意思向量而難以區(qū)分。如果沒有正確區(qū)分句子A和句子B，則在將句子A和句子B設為詢問句時無法選擇正確的應答句。

本發(fā)明解決上述課題，其目的在于，得到如下的語言處理裝置、語言處理系統(tǒng)和語言處理方法：能夠在應對未知詞的問題的同時，選擇與處理對象句子對應的適當?shù)膽鹁涠粫固幚韺ο缶渥拥囊馑己?/p>

用于解決課題的手段

本發(fā)明的語言處理裝置具有詢問應答數(shù)據庫(以下記作詢問應答DB)、詞素分析部、第1向量生成部、第2向量生成部、向量統(tǒng)合部和應答句選擇部。在詢問應答DB中對應地登記有多個詢問句和多個應答句。詞素分析部對處理對象句子進行詞素分析。第1向量生成部根據由詞素分析部進行詞素分析后的句子生成Bag-of-Words(詞袋)向量(以下記作BoW向量)，該BoW向量具有與處理對象句子中包含的單詞對應的維度，維度的元素為詢問應答DB中的單詞的出現(xiàn)次數(shù)。第2向量生成部根據由詞素分析部進行詞素分析后的句子，生成表示處理對象句子的意思的意思向量。向量統(tǒng)合部生成對BoW向量和意思向量進行統(tǒng)合而得到的統(tǒng)合向量。應答句選擇部根據由向量統(tǒng)合部生成的統(tǒng)合向量，從詢問應答DB中確定與處理對象句子對應的詢問句，選擇與所確定的詢問句對應的應答句。

發(fā)明效果

根據本發(fā)明，在選擇應答句時使用統(tǒng)合向量，該統(tǒng)合向量是對存在未知詞的問題但是能夠進行句子的向量表現(xiàn)而不會使句子的意思含糊的BoW向量和能夠應對未知詞的問題但是句子的意思可能含糊的意思向量進行統(tǒng)合而得到的。語言處理裝置通過參照統(tǒng)合向量，能夠在應對未知詞的問題的同時，選擇與處理對象句子對應的適當?shù)膽鹁涠粫固幚韺ο缶渥拥囊馑己?/p>