[發明專利]鍵值記憶網絡

在審

• 申請號: 201880048452.3
• 申請日: 2018-06-07
• 公開（公告）號: CN110945500A
• 公開（公告）日: 2020-03-31
• 發明（設計）人: 亞歷山大·霍頓·米勒;亞當·約書亞·費什;杰西·迪恩·道奇;阿米爾-侯賽因·卡里米;安托萬·博爾德;詹森·E·韋斯頓
• 申請（專利權）人: 臉譜公司
• 主分類號: G06F16/332
• 分類號: G06F16/332
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

在一個實施例中，計算系統可以生成輸入(例如，問題)的查詢向量表示。系統可以基于查詢向量表示和記憶中的鍵的鍵向量表示之間的比較來生成與鍵值記憶集合相關聯的相關性度量。系統可以基于相關性度量和記憶中的值的值向量表示來生成聚合結果。通過迭代地更新每次迭代中所使用的查詢向量表示的迭代過程，系統可以使用最終查詢向量表示來生成最終聚合結果?？梢曰谧罱K聚合結果和最終查詢向量表示來生成組合特征表示。系統可以基于組合特征表示與候選輸出集合之間的比較，響應于輸入來選擇輸出(例如，問題的答案)。

技術領域

本公開總體上涉及被設計用于使用機器學習來回答問題的信息檢索系統。

背景

問答(QA)一直是自然語言處理中的一個長期研究問題。例如，對于機器來說，基于嵌入答案的文本來回答像“Where did John drop the ball(約翰把球丟在哪里了)”這樣的問題并不是一項無足輕重的任務。早期的問答(QA)系統基于信息檢索，并且被設計成返回包含答案的文本片段，但在問題復雜性和響應覆蓋范圍方面存在限制。

大規模知識庫(KB)的建立導致了一類基于語義分析的新的QA方法的發展，這種方法可以返回復雜組合問題的精確答案。KB有助于將信息組織成結構化的形式，促使最近的進展集中在通過將問題轉換成可以用于查詢此類數據庫的邏輯形式來回答問題上。不幸的是，KB經常受到太多限制的困擾，因為模式(schema)不能支持某些類型的答案。KB中的可用信息也過于稀疏，因為從中得到答案的可用信息必須首先被處理并輸入到KB中。因此，即使文檔的語料庫(例如，基于互聯網的數據源)可包括問題的答案，但是除非語料庫中的信息被輸入到KB中，否則基于KB的QA系統將無法利用這樣的信息。

然而，由于KB數據的稀疏性，主要的挑戰從尋找答案轉向開發高效的信息提取(IE)方法來自動填充KB。不幸的是，基于IE的知識源在范圍上仍然受到限制，并且受到用于表示知識的模式的限制。

特定實施例的概述

本文描述的實施例(其可以被稱為鍵值記憶網絡(Key-Value Memory Network))使得機器能夠接受輸入(例如，問題、難題、任務等)，并且作為響應，基于來自知識源的信息生成輸出(例如，答案、解決方案、對任務的響應等)。鍵值記憶網絡模型的實施例對被結構化為(鍵，值)對的符號記憶(symbolic memory)進行操作，這給了模型更大的靈活性來用于對知識源進行編碼，并且有助于縮小直接讀取文檔和從KB進行回答之間的差距。通過能夠將關于手頭任務的先驗知識編碼在鍵值記憶中，鍵值記憶網絡具有多功能性來分析例如，文檔、KB、或使用信息提取所構建的KB，并回答關于它們的問題。鍵值記憶網絡通過在記憶讀取操作的尋址和輸出階段使用不同的編碼使得讀取文檔(例如，維基百科(Wikipedia)頁面、互聯網的網頁、書籍、文章等)更可行。這些模型可以應用于存儲并讀取用于其他任務的記憶，也可以應用于其他領域，例如應用于完整對話設置。

本文公開的實施例僅僅是示例，并且本公開的范圍不限于它們。特定實施例可以包括上面公開的實施例的部件、要素、特征、功能、操作或步驟中的全部、一些或不包括這些。根據本發明的實施例在涉及方法、存儲介質、系統和計算機程序產品的所附權利要求中被具體公開，其中，在一個權利要求類別(例如方法)中提到的任何特征也可以在另一個權利要求類別(例如系統)中被要求保護。在所附權利要求中的從屬性或往回引用僅為了形式原因而被選擇。然而，也可以要求保護由對任何前面的權利要求的有意往回引用(特別是多項引用)而產生的任何主題，使得權利要求及其特征的任何組合被公開并且可被要求保護，而不考慮在所附權利要求中選擇的從屬性?？梢员灰蟊Ｗo的主題不僅包括如在所附權利要求中闡述的特征的組合，而且還包括在權利要求中的特征的任何其他組合，其中，在權利要求中提到的每個特征可以與在權利要求中的任何其他特征或其他特征的組合相結合。此外，本文描述或描繪的實施例和特征中的任一個可以在單獨的權利要求中和/或以與本文描述或描繪的任何實施例或特征的任何組合或以與所附權利要求的任何特征的任何組合被要求保護。

在根據本發明的實施例中，一種方法可以包括由計算設備：