[發明專利]傾聽、交互和交談：通過交互學習說話

有效

• 申請號: 201810188188.5
• 申請日: 2018-03-07
• 公開（公告）號: CN108932549B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 張海超;余昊男;徐偉
• 申請（專利權）人: 百度（美國）有限責任公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/151;G06F40/35;G06F40/56;G06K9/62;G06N3/00;G06N3/04;G06N3/08;G09B19/04;G09B5/06;G09B5/12;G09B5/14;G09B7/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 馬曉亞;王艷春

1.基于交互的語言學習的計算機實現的方法，所述方法包括：

在一時間步驟，在編碼網絡處將自然語言輸入編碼至狀態向量中，所述自然語言輸入包括一個或多個與視覺圖像和初始狀態相關的詞；

基于所述狀態向量，在控制器網絡處產生輸出控制向量，所述控制器網絡包括殘余控制模塊和高斯策略模塊，其中，所述殘余控制模塊配置為通過將所述狀態向量輸入到轉換器網絡來轉換所述狀態向量以生成控制向量，所述轉換器網絡實施為具有修正線性單元激活的兩個全連接層，以及所述高斯策略模塊配置為通過以來自所述殘余控制模塊的所述控制向量為條件的高斯分布來生成輸出控制向量；

通過將所述視覺圖像輸入至視覺編碼器，獲得從所述視覺編碼器輸出的視覺特征向量；

基于所述輸出控制向量和所述視覺特征向量，在動作網絡處生成對所述自然語言輸入的響應；以及

根據所述自然語言輸入和所生成的響應，生成反饋。

2.如權利要求1所述的計算機實現的方法，還包括：

使用所述狀態向量作為下一時間步驟中的初始狀態，以用于在所述下一時間步驟中進行編碼處理。

3.如權利要求1所述的計算機實現的方法，其中，所述編碼網絡和所述動作網絡均是遞歸神經網絡。

4.如權利要求1所述的計算機實現的方法，其中，來自教學者的所述反饋包括在下一時間步驟中的下一自然語言輸入和獎勵。

5.如權利要求4所述的計算機實現的方法，其中，所述獎勵是來自所述教學者的標量值反饋，其中根據所述響應的正確度，正值作為鼓勵，負值作為不鼓勵。

6.如權利要求1所述的計算機實現的方法，其中，所述編碼網絡還接收從所述視覺編碼器輸出的所述視覺特征向量以對所述自然語言輸入進行編碼。

7.如權利要求6所述的計算機實現的方法，其中，從所述視覺編碼器輸出所述視覺特征向量的步驟包括：

通過所述視覺編碼器中的卷積神經網絡，對視覺輸入進行編碼以獲得視覺向量映射；

對所述視覺向量映射附加具有可學習參數的一組映射以生成級聯特征映射；

通過從所述初始狀態生成的空間濾波器對所述級聯特征映射進行卷積來獲得注意力映射；

在所述注意力映射和所述視覺向量映射之間執行空間求和，以生成空間聚合向量；以及

將從所述初始狀態生成的注意力掩碼應用于所述空間聚合向量，以產生所述視覺特征向量。

8.如權利要求1所述的計算機實現的方法，還包括：

使用所述輸出控制向量作為所述動作網絡的初始狀態。

9.用于在交互設置中進行基礎自然語言學習的計算機實現的方法，所述方法包括：

在一時間步驟處，接收自然語言輸入，所述自然語言輸入包括一個或多個與視覺圖像相關的詞；

至少基于所述視覺圖像生成視覺特征向量；

通過編碼遞歸神經網絡，至少基于所述自然語言輸入生成對應于所述時間步驟的狀態向量；

通過控制器網絡，至少基于所述狀態向量生成輸出控制向量，所述控制器網絡包括殘余控制模塊和高斯策略模塊，其中，所述殘余控制模塊配置為通過將所述狀態向量輸入到轉換器網絡來轉換所述狀態向量以生成控制向量，所述轉換器網絡實施為具有修正線性單元激活的兩個全連接層，以及所述高斯策略模塊配置為通過以來自所述殘余控制模塊的所述控制向量為條件的高斯分布來生成輸出控制向量；

在動作遞歸神經網絡處，通過用作所述動作遞歸神經網絡的初始狀態的所述輸出控制向量和所述視覺特征向量，生成對所述自然語言輸入的響應；

根據所述自然語言輸入和所生成的響應，通過教學者生成反饋，其中，所述反饋包括在下一時間步驟中的另一自然語言輸入和標量值獎勵；以及

使用所生成的反饋來訓練所述編碼遞歸神經網絡和所述動作遞歸神經網絡中的至少一個。