[發明專利]語言模型中嵌入模塊計算優化的方法

有效

• 申請號: 202210531140.6
• 申請日: 2022-05-16
• 公開（公告）號: CN115034198B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 李敏;曾錦樂;藍翔;吳志華;劉益群;邢馮
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/20
• 分類號: G06F40/20;G06F16/33;G06F16/31
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開提供了一種語言模型中嵌入模塊計算優化的方法，涉及深度學習、自然語言處理等人工智能技術領域。該方法包括：獲取輸入數據，其中，輸入數據包含至少一個帶填充的輸入張量；基于輸入張量生成索引張量，其中，索引張量中存儲了輸入張量中非填充元素的索引；基于索引張量和聚集算子對輸入張量進行壓縮，得到壓縮后的輸入張量；將壓縮后的輸入張量作為嵌入模塊的輸入，計算得到目標張量。本公開提供的語言模型中嵌入模塊計算優化的方法對輸入樣本的索引集合、類別集合和位置集合進行壓縮，并將壓縮后得到的張量作為其他模塊的輸入進行計算，減少了嵌入模塊中各層的計算量，提升了嵌入模塊的性能。

技術領域

本公開涉及人工智能技術領域，具體涉及自然語言處理、深度學習等領域，尤其涉及語言模型中嵌入模塊計算優化的方法。

背景技術

Embedding模塊(嵌入模塊)作為模型的輸入數據和模型中其他模塊的橋梁，用于將輸入數據轉化為計算能夠處理且能起到語義表示作用的詞向量。輸入數據一般會經過Embedding模塊中的多個算子的運算，例如Embedding算子、Add算子、Layer_norm算子、Dropout算子等，從而輸出結果。

現有技術中一般采用pad方法來實現Embedding模塊的運算，也即將每一個輸入數據以填充補零的方式生成相同長度的數據并進行計算。在計算時，被填充位置的元素也需要經過模型中各個層的計算，從而引入了很多冗余計算，降低了Embedding模塊的性能。

發明內容

本公開提供了一種語言模型中嵌入模塊計算優化的方法。

根據本公開的第一方面，提供了一種語言模型中嵌入模塊計算優化的方法，包括：獲取輸入數據，其中，輸入數據包含至少一個帶填充的輸入張量；基于輸入張量生成索引張量，其中，索引張量中存儲了輸入張量中非填充元素的索引；基于索引張量和聚集算子對輸入張量進行壓縮，得到壓縮后的輸入張量；將壓縮后的輸入張量作為嵌入模塊的輸入，計算得到目標張量。

根據本公開的第二方面，提供了一種語言模型中嵌入模塊計算優化的裝置，包括：獲取單元，被配置成獲取輸入數據，其中，輸入數據包含至少一個帶填充的輸入張量；生成單元，被配置成基于輸入張量生成索引張量，其中，索引張量中存儲了輸入張量中非填充元素的索引；壓縮單元，被配置成基于索引張量和聚集算子對輸入張量進行壓縮，得到壓縮后的輸入張量；計算單元，被配置成將壓縮后的輸入張量作為嵌入模塊的輸入，計算得到目標張量。

根據本公開的第三方面，提供了一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行如第一方面中任一實現方式描述的方法。

根據本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，計算機指令用于使計算機執行如第一方面中任一實現方式描述的方法。

根據本公開的第五方面，提供了一種計算機程序產品，包括計算機程序，計算機程序在被處理器執行時實現如第一方面中任一實現方式描述的方法。

本公開實施例提供的語言模型中嵌入模塊計算優化的方法，該方法通過移除樣本數據中的填充元素，將不同樣本數據中的非填充元素連續平鋪存儲，并將得到的結果作為模型中后續其他模塊的輸入進行計算，從而減少了嵌入模塊中各層的計算量，進而提升了嵌入模塊的性能。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：

圖1是本公開可以應用于其中的示例性系統架構圖；

圖2是根據本公開的語言模型中嵌入模塊計算優化的方法的一個實施例的流程圖；