[發明專利]多任務學習方法、裝置、設備以及存儲介質

在審

• 申請號: 202011377234.X
• 申請日: 2020-11-30
• 公開（公告）號: CN112417156A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 潘祿;陳玉光
• 申請（專利權）人: 百度國際科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了多任務學習方法、裝置、設備以及存儲介質，涉及自然語言處理和深度學習等人工智能技術領域。該方法的一具體實施方式包括：將文本分別輸入至少一個神經網絡進行學習，得到文本的至少一個文本矩陣，其中，一個神經網絡輸出一個文本矩陣；對于多任務中的每個任務，將至少一個文本矩陣輸入任務對應的注意力層進行合并，得到合并文本矩陣；基于合并文本矩陣進行任務的學習，得到任務對應的學習結果。該實施方式采用多神經網絡模式，不同的神經網絡學習不同的知識，從而實現不對任務的相關性進行限定的多任務學習，提升學習效果和模型利用率。

技術領域

本申請實施例涉及計算機技術領域，具體涉及自然語言處理和深度學習等人工智能技術領域，尤其涉及多任務學習方法、裝置、設備以及存儲介質。

背景技術

深度學習(Deep Learning，DL)是機器學習(Machine Learning，ML)領域中一個新的研究方向，它被引入機器學習使其更接近于最初的目標——人工智能(ArtificialIntelligence，AI)。

事件圖譜目前大量應用了深度學習技術。特別是對預訓練模型相關技術的使用，模型參數巨大，GPU(Graphics Processing Unit，圖形處理器)消耗加快，直接導致GPU使用緊張、模型部署成本和對外輸出成本增加。為解決此問題，已經對部分相關任務進行了融合，除任務層外共享一個參數層。

發明內容

本申請實施例提出了多任務學習方法、裝置、設備以及存儲介質。

第一方面，本申請實施例提出了一種多任務學習方法，包括：將文本分別輸入至少一個神經網絡進行學習，得到文本的至少一個文本矩陣，其中，一個神經網絡輸出一個文本矩陣；對于多任務中的每個任務，將至少一個文本矩陣輸入任務對應的注意力層進行合并，得到合并文本矩陣；基于合并文本矩陣進行任務的學習，得到任務對應的學習結果。

第二方面，本申請實施例提出了一種多任務學習裝置，包括：第一學習模塊，被配置成將文本分別輸入至少一個神經網絡進行學習，得到文本的至少一個文本矩陣，其中，一個神經網絡輸出一個文本矩陣；合并模塊，被配置成對于多任務中的每個任務，將至少一個文本矩陣輸入任務對應的注意力層進行合并，得到合并文本矩陣；第二學習模塊，被配置成基于合并文本矩陣進行任務的學習，得到任務對應的學習結果。

第三方面，本申請實施例提出了一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行如第一方面中任一實現方式描述的方法。

第四方面，本申請實施例提出了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，計算機指令用于使計算機執行如第一方面中任一實現方式描述的方法。

本申請實施例提供的多任務學習方法、裝置、設備以及存儲介質，首先將文本分別輸入至少一個神經網絡進行學習，得到文本的至少一個文本矩陣；然后對于多任務中的每個任務，將至少一個文本矩陣輸入任務對應的注意力層進行合并，得到合并文本矩陣；最后基于合并文本矩陣進行任務的學習，得到任務對應的學習結果。采用多神經網絡模式，不同的神經網絡學習不同的知識，從而實現不對任務的相關性進行限定的多任務學習，提升學習效果和模型利用率。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優點將會變得更明顯。附圖用于更好地理解本方案，不構成對本申請的限定。其中：

圖1是本申請可以應用于其中的示例性系統架構；

圖2是根據本申請的多任務學習方法的一個實施例的流程圖；