[發明專利]任務型對話及模型訓練方法、裝置、設備和存儲介質

在審

• 申請號: 202011505708.4
• 申請日: 2020-12-18
• 公開（公告）號: CN112507103A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 鮑思琪;何煌;陸華;王凡;牛正雨;吳華;何徑舟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06K9/62;G06N20/20
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 谷春靜

本公開公開了一種任務型對話及模型訓練方法、裝置、設備和存儲介質，涉及計算機技術領域，尤其涉及自然語言處理領域和深度學習領域等人工智能領域。任務型對話方法包括：接收信息；采用知識選擇模型，選擇與所述信息匹配的知識，所述知識選擇模型采用結構化知識和非結構化知識預訓練得到，所述結構化知識的槽位包括自然語言描述信息；根據所述信息和所述知識生成回復。本公開可以提高知識選擇性能。

技術領域

本公開涉及計算機技術領域，具體涉及自然語言處理領域和深度學習技術領域等人工智能領域，尤其涉及任務型對話及模型訓練方法、裝置、設備和存儲介質。

背景技術

人工智能(Artificial Intelligence，AI)是研究使計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規劃等)的學科，既有硬件層面的技術也有軟件層面的技術。人工智能硬件技術一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數據處理等技術；人工智能軟件技術主要包括計算機視覺技術、語音識別技術、自然語言處理技術以及機器學習/深度學習、大數據處理技術、知識圖譜技術等幾大方向。

任務型對話系統是一種以完成任務或動作為目的的人機交互系統。現有的任務型對話系統，是使用已有的數據庫來回答用戶的相關問題，這些數據庫信息通常是以結構化知識的形式進行存儲的。

發明內容

本公開提供了一種任務型對話及模型訓練方法、裝置、設備和存儲介質。

根據本公開的一方面，提供了一種任務型對話方法，包括：接收信息；采用知識選擇模型，選擇與所述信息匹配的知識，所述知識選擇模型采用結構化知識和非結構化知識預訓練得到，所述結構化知識的槽位包括自然語言描述信息；根據所述信息和所述知識生成回復。

根據本公開的另一方面，提供了一種知識選擇模型的訓練方法，包括：獲取訓練語料，所述訓練語料包括訓練信息、訓練非結構化知識和訓練結構化知識，所述訓練結構化知識的槽位包括自然語言描述信息；對所述訓練語料進行標注；采用標注后的訓練語料進行訓練，生成知識選擇模型。

根據本公開的另一方面，提供了一種回復生成模型的訓練方法，包括：獲取訓練語料，所述訓練語料包括訓練信息、訓練知識和訓練回復；采用輸入層將所述訓練語料轉換為輸入向量，所述輸入層包括類型向量層，所述類型向量層的輸入包括互不相同的信息類型標識、知識類型標識和回復類型標識；采用深度學習網絡對所述輸入向量和所述訓練回復對應的輸出向量進行訓練，生成回復生成模型。

根據本公開的另一方面，提供了一種任務型對話裝置，包括：接收模塊，用于接收信息；知識選擇模塊，用于采用知識選擇模型，選擇與所述信息匹配的知識，所述知識選擇模型采用結構化知識和非結構化知識預訓練得到，所述結構化知識的槽位包括自然語言描述信息；回復生成模塊，用于根據所述信息和所述知識生成回復。

根據本公開的另一方面，提供了一種知識選擇模型的訓練裝置，包括：獲取模塊，用于獲取訓練語料，所述訓練語料包括訓練信息、訓練非結構化知識和訓練結構化知識，所述訓練結構化知識的槽位包括自然語言描述信息；標注模塊，用于對所述訓練語料進行標注；訓練模塊，用于采用標注后的訓練語料進行訓練，生成知識選擇模型。

根據本公開的另一方面，提供了一種回復生成模型的訓練裝置，包括：獲取模塊，用于獲取訓練語料，所述訓練語料包括訓練信息、訓練知識和訓練回復；轉換模塊，用于采用輸入層將所述訓練語料轉換為輸入向量，所述輸入層包括類型向量層，所述類型向量層的輸入包括互不相同的信息類型標識、知識類型標識和回復類型標識；訓練模塊，用于采用深度學習網絡對所述輸入向量和所述訓練回復對應的輸出向量進行訓練，生成回復生成模型。

根據本公開的另一方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如上述任一方面的任一項所述的方法。