[發明專利]傾聽、交互和交談：通過交互學習說話

有效

• 申請號: 201810188188.5
• 申請日: 2018-03-07
• 公開（公告）號: CN108932549B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 張海超;余昊男;徐偉
• 申請（專利權）人: 百度（美國）有限責任公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/151;G06F40/35;G06F40/56;G06K9/62;G06N3/00;G06N3/04;G06N3/08;G09B19/04;G09B5/06;G09B5/12;G09B5/14;G09B7/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 馬曉亞;王艷春

本文描述了用于在交互設置中的基礎自然語言學習的系統和方法。在實施方式中，代理在學習過程中通過與教學者交互并從反饋中學習來學習自然語言，從而在參與對話的同時學習并改進語言技能。在實施方式中，模型用于通過共同地利用句子和來自教學者的獎勵反饋將模仿和強化合并。進行了各種實驗以證實模型實施方式的有效性。

相關申請的交叉引用

本申請基于35USC§119(e)要求于2017年5月25日提交的題為“Listen,Interact,and Talk:Learning to Speak via Interaction”的Haichao Zhang、Haonan Yu、和Wei Xu為發明人的第62/511,295號美國臨時專利申請(案卷號28888-2149P)的優先權權益。上述專利文件的全部內容通過引用并入本文。

技術領域

本公開總體上涉及用于計算機學習的系統和方法，其可提供改進的計算機性能、特征和應用。

背景技術

自然語言是人類最自然的交流形式之一，因此也能夠使用自然語言作為通道與人類進行交流的智能代理具有很大的價值。自然語言學習的最新進展主要依賴于大規模訓練數據的受監督訓練，其通常需要大量的人類勞動進行注釋。盡管在不考慮標記工作的情況下已在許多特定應用中實現了優良性能，但是這與人類如何學習也存在很大差異。人類行事于世界并從他們動作的結果中學習。對于諸如運動的機械動作，結果主要遵循幾何和機械原理，而對于語言來說，人類通過說話進行動作且結果通常表現為對話伙伴的言語或其它行為反饋(例如，點頭)形式的響應。該反饋通常包含與如何在隨后的會話中提高語言技能有關的信息信號，并在人類語言的習得過程中發揮重要作用。

人工智能的長期目標之一是建立能以自然語言與人類智能地交流的代理。大多數現有的關于自然語言學習的工作嚴重依賴于對帶有注釋標記的預先收集的數據集的訓練，使得代理本質上捕獲固定外部訓練數據的統計數據。由于訓練數據本質上是注釋者的知識的靜態快照表示，所以以該方式訓練的代理在其行為的適應性和概括性方面受到限制。此外，這與人類的語言學習過程有很大差別，在人類語言學習中，以交互的方式在通過說話動作并從說話動作的結果中學習來溝通的過程中獲得語言。

因此，需要改進用于機器學習的計算裝置功能的、用于在交互設置中學習基礎自然語言的系統和方法。

發明內容

本申請的一個方面提供了一種基于交互的語言學習的計算機實現的方法，該方法包括：在一時間步驟，在編碼網絡處將自然語言輸入編碼至狀態向量中，該自然語言輸入包括一個或多個與視覺圖像和初始狀態相關的詞；基于狀態向量，在控制網絡處產生輸出控制向量；基于輸出控制向量，在動作網絡處生成對自然語言輸入的響應；以及根據自然語言輸入和所生成的響應，通過產生的教學者來生成反饋。

本申請的另一方面提供了用于在交互設置中進行基礎自然語言學習的計算機實現的方法，該方法包括：在一時間步驟處，接收自然語言輸入，該自然語言輸入包括一個或多個與視覺圖像相關的詞；至少基于視覺圖像生成視覺特征向量；通過編碼遞歸神經網絡，至少基于自然語言輸入生成對應于時間步驟的狀態向量；通過控制器網絡，至少基于狀態向量生成輸出控制向量；在動作遞歸神經網絡處，通過用作動作遞歸神經網絡的初始狀態的輸出控制向量，生成對自然語言輸入的響應；根據自然語言輸入和所生成的響應，通過教學者生成反饋，其中，反饋包括在下一時間步驟中的另一自然語言輸入和標量值獎勵；以及使用所生成的反饋來訓練編碼遞歸神經網絡和動作遞歸神經網絡中的至少一個。