[發明專利]表格預訓練模型的訓練方法、裝置、設備及介質

在審

• 申請號: 202211521851.1
• 申請日: 2022-11-30
• 公開（公告）號: CN115994524A
• 公開（公告）日: 2023-04-21
• 發明（設計）人: 王兆吉;孫建東;史亞冰;蔣燁
• 申請（專利權）人: 百度國際科技(深圳)有限公司
• 主分類號: G06F40/18
• 分類號: G06F40/18;G06F40/30;G06F40/126;G06N3/045;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李冬;高鶯然

本公開提供了表格預訓練模型的訓練方法、裝置、設備及介質，涉及計算機技術領域，尤其涉及人工智能、深度學習技術領域。具體實現方案為：將預訓練任務包括的樣本數據處理為樣本序列，樣本數據包括表格；通過表格預訓練模型的嵌入層對樣本序列和樣本序列中各元素在表格中的位置信息進行嵌入編碼，得到樣本序列中的每個元素的元素向量；通過表格預訓練模型的多頭注意力層針對樣本序列中各元素的分組信息，計算每個元素向量在每一分組中的注意力結果，以得到每個元素的表示向量；基于每個元素的表示向量得到預訓練任務對應的輸出結果，基于輸出結果對表格預訓練模型進行訓練。如此，可以提高表格預訓練模型對表格理解的準確性。

技術領域

本公開涉及計算機技術領域，尤其涉及人工智能、深度學習技術領域。

背景技術

在網頁和各種行業文檔種存在大量的表格，這些表格數據量龐大且結構多變，目前可采用表格理解技術從表格中獲取所需的信息。例如可以將表格展開表示為自然語言，將該自然語言輸入文本預訓練模型，基于文本預訓練模型得到與該表格對應的向量表示，然后借助該表格對應的向量表示從表格中抽取所需的信息。

發明內容

本公開提供了一種表格預訓練模型的訓練方法、裝置、設備及介質。

根據本公開的一方面，提供了一種表格預訓練模型的訓練方法，包括：

將預訓練任務包括的樣本數據處理為樣本序列，所述樣本數據包括表格；

通過所述表格預訓練模型的嵌入層對所述樣本序列和所述樣本序列中各元素在所述表格中的位置信息進行嵌入編碼，得到所述樣本序列中的每個元素的元素向量；

通過所述表格預訓練模型的多頭注意力層針對所述樣本序列中各元素的分組信息，計算每個元素向量在每一分組中的注意力結果，以得到每個元素的表示向量；

基于每個元素的表示向量得到所述預訓練任務對應的輸出結果，基于所述輸出結果對所述表格預訓練模型進行訓練。

根據本公開的第二方面，提供了一種表格預訓練模型的訓練裝置，包括：

處理模塊，用于將預訓練任務包括的樣本數據處理為樣本序列，所述樣本數據包括表格；

編碼模塊，用于通過所述表格預訓練模型的嵌入層對所述樣本序列和所述樣本序列中各元素在所述表格中的位置信息進行嵌入編碼，得到所述樣本序列中的每個元素的元素向量；

計算模塊，用于通過所述表格預訓練模型的多頭注意力層針對所述樣本序列中各元素的分組信息，計算每個元素向量在每一分組中的注意力結果，以得到每個元素的表示向量；

訓練模塊，用于基于每個元素的表示向量得到所述預訓練任務對應的輸出結果，基于所述輸出結果對所述表格預訓練模型進行訓練。

根據本公開的第三方面，提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行第一方面所述的方法。

根據本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行第一方面所述的方法。

根據本公開的第五方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現第一方面所述的方法。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明