[發明專利]用于生成自然語言模型的方法和裝置

有效

• 申請號: 202010440926.8
• 申請日: 2020-05-22
• 公開（公告）號: CN111611808B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 何燴燴;王樂義;安思宇;劉明浩;郭江亮;李旭
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06N3/0475;G06N3/0442;G06N3/0455;G06N3/084
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了用于生成自然語言模型的方法和裝置，涉及人工智能技術領域。具體實現方案為：基于目標任務，確定教師任務，其中，目標任務用于預測文本與細粒度分類結果的對應關系，教師任務用于預測文本與粗粒度分類結果的對應關系；構建自然語言模型，其中，自然語言模型包括用于訓練目標任務的目標任務模型和用于訓練教師任務的教師任務模型；利用預設的文本訓練樣本集合訓練自然語言模型，以使目標任務模型和教師任務模型交互學習，其中，文本訓練樣本包括標注有細粒度分類結果的文本樣本。該實現方式使得訓練得到自然語言模型的對細粒度分類結果預測更加準確，提高了生成的自然語言模型的預測性能。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及人工智能技術領域。

背景技術

隨著人工智能技術(Artificial?Intelligence，AI)和互聯網技術的飛速發展，面對快速增長的海量文本信息，如何有效地對文本進行分類是后續查找內容、提取信息價值的重要前提。

相關技術中，可以采用訓練好的自然語言模型來預測文本的分類。作為示例，在法律領域，可以采用預先訓練的自然語言模型對法律案情描述進行分類，從而得到法律案情描述相應的法律類型和/或法律條款。因此，如何訓練得到可對文本準確分類的自然語言模型是當前亟需解決的問題。

發明內容

提供了一種用于生成自然語言模型的方法、裝置、設備以及存儲介質。

根據第一方面，提供了一種用于生成自然語言模型的方法，該方法包括：基于目標任務，確定教師任務，其中，目標任務用于預測文本與細粒度分類結果的對應關系，教師任務用于預測文本與粗粒度分類結果的對應關系；構建自然語言模型，其中，自然語言模型用于預測輸入文本與細粒度分類結果的對應關系，自然語言模型包括用于訓練目標任務的目標任務模型和用于訓練教師任務的教師任務模型；利用預設的文本訓練樣本集合訓練自然語言模型，以使目標任務模型和教師任務模型交互學習，其中，文本訓練樣本包括標注有細粒度分類結果的文本樣本。

根據第二方面，提供了一種用于生成自然語言模型的裝置，該裝置包括：確定單元，被配置成基于目標任務，確定教師任務，其中，目標任務用于預測文本與細粒度分類結果的對應關系，教師任務用于預測文本與粗粒度分類結果的對應關系；構建單元，被配置成構建自然語言模型，其中，自然語言模型用于預測輸入文本與細粒度分類結果的對應關系，自然語言模型包括用于訓練目標任務的目標任務模型和用于訓練教師任務的教師任務模型；訓練單元，被配置成利用預設的文本訓練樣本集合訓練自然語言模型，以使目標任務模型和教師任務模型交互學習，其中，文本訓練樣本包括標注有細粒度分類結果的文本樣本。

第三方面，提供了一種電子設備，該電子設備包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行上述方法。

第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，計算機指令用于使計算機執行上述方法。

根據本申請的技術解決了現有的模型訓練方法訓練得到自然語言模型的分類效果差的問題，提高了訓練得到的自然語言模型分類結果預測的準確性。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本申請的限定。其中：

圖1是根據本申請的用于生成自然語言模型的方法的第一實施例的示意圖；

圖2是根據本申請的用于生成自然語言模型的方法的第二實施例的示意圖；

圖3是根據第二實施例中的自然語言模型的結構的示意圖；