[發(fā)明專利]推理模型的訓練方法、推理方法及裝置

在審

• 申請?zhí)枺?/td>: 202110854886.6
• 申請日: 2021-07-28
• 公開（公告）號: CN113590782A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設計）人: 龐超;王碩寰;孫宇;李芝
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/36;G06F40/237;G06N5/04
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種推理模型的訓練方法、推理方法及裝置，涉及人工智能技術領域，尤其涉及自然語言處理、知識圖譜、深度學習技術領域。實現方案為：從知識圖譜中采樣環(huán)狀子圖；生成環(huán)狀子圖對應的推理語句；以及以推理語句為訓練樣本，訓練推理模型。

技術領域

本公開涉及人工智能技術領域，尤其涉及自然語言處理、知識圖譜、深度學習技術領域，具體涉及一種推理模型的訓練方法及裝置、推理方法及裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

背景技術

深度學習技術，尤其是預訓練語言模型(例如BERT模型、GPT模型等)，被廣泛應用于自然語言處理任務中。目前，預訓練語言模型多用于處理序列標注、文本情感分析、語句匹配、機器翻譯等任務。

在此部分中描述的方法不一定是之前已經設想到或采用的方法。除非另有指明，否則不應假定此部分中描述的任何方法僅因其包括在此部分中就被認為是現有技術。類似地，除非另有指明，否則此部分中提及的問題不應認為在任何現有技術中已被公認。

發(fā)明內容

本公開提供了一種推理模型的訓練方法及裝置、推理方法及裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

根據本公開的一方面，提供了一種推理模型的訓練方法，包括：從知識圖譜中采樣環(huán)狀子圖；生成環(huán)狀子圖對應的推理語句；以及以推理語句為訓練樣本，訓練推理模型。

根據本公開的另一方面，提供了一種推理方法，包括：將問題文本輸入推理模型，推理模型為根據上述推理模型的訓練方法訓練得到；以及獲取推理模型輸出的問題文本對應的答案。

根據本公開的另一方面，提供了一種推理模型的訓練裝置，包括：采樣模塊，被配置為從知識圖譜中采樣環(huán)狀子圖；生成模塊，被配置為生成環(huán)狀子圖對應的推理語句；以及訓練模塊，被配置為以推理語句為訓練樣本，訓練推理模型。

根據本公開的另一方面，提供了一種推理裝置，包括：問題輸入模塊，被配置為將問題文本輸入推理模型，推理模型為根據上述推理模型的訓練方法訓練得到；以及答案獲取模塊，被配置為獲取推理模型輸出的問題文本對應的答案。

根據本公開的另一方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器。該存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述推理模型的訓練方法和/或推理方法。

根據本公開的另一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質。該計算機指令用于使計算機執(zhí)行上述推理模型的訓練方法和/或推理方法。

根據本公開的另一方面，提供了一種計算機程序產品，包括計算機程序。該計算機程序在被處理器執(zhí)行時實現上述推理模型的訓練方法和/或推理方法。

根據本公開的一個或多個實施例，從知識圖譜中采樣環(huán)狀子圖，生成環(huán)狀子圖對應的推理語句，并以推理語句為訓練樣本來訓練推理模型。知識圖譜中的環(huán)狀子圖是由多個實體通過關系邊連接而形成的閉環(huán)，能夠表示多個實體間的關系推理過程。推理語句是環(huán)狀子圖對應的文本表示，相應地，推理語句是一種能夠表示推理過程的推理性的語料。采用推理語句來訓練推理模型，能夠使推理模型直接學習到知識圖譜中的知識推理過程，從而使推理模型具有知識推理能力，實現了準確、高效的知識推理。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖示例性地示出了實施例并且構成說明書的一部分，與說明書的文字描述一起用于講解實施例的示例性實施方式。所示出的實施例僅出于例示的目的，并不限制權利要求的范圍。在所有附圖中，相同的附圖標記指代類似但不一定相同的要素。