[發明專利]文本處理方法、裝置、電子設備及計算機可讀存儲介質

在審

• 申請號: 202010049188.4
• 申請日: 2020-01-16
• 公開（公告）號: CN113127615A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 莊毅萌;汪華東;涂眉
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

1.一種文本處理方法，其特征在于，包括：

獲取與待處理的文本對應的多頭注意力得分矩陣；

對所述多頭注意力得分矩陣進行校正得到多頭協同注意力矩陣；

基于所述多頭協同注意力矩陣獲取與所述文本對應的輸出結果。

2.根據權利要求1所述的方法，其特征在于，所述獲取與待處理的文本對應的多頭注意力得分矩陣，包括：

獲取所述文本的查詢特征和鍵特征；

對所述查詢特征和鍵特征進行可縮放的點乘，得到所述多頭注意力得分矩陣。

3.根據權利要求1或2所述的方法，其特征在于，所述對所述多頭注意力得分矩陣進行校正得到多頭協同注意力矩陣，包括：

將所述多頭注意力得分矩陣中的至少兩個注意力得分矩陣進行疊加，得到注意力張量；

基于所述注意力張量獲取所述多頭協同注意力矩陣。

4.根據權利要求3所述的方法，其特征在于，所述基于所述注意力張量獲取所述多頭協同注意力矩陣，包括：

對所述注意力張量進行變換，得到變換張量；

對所述變換張量進行分割，得到至少兩個校正后的注意力得分矩陣；

將所述多頭注意力得分矩陣中的所述至少兩個注意力得分矩陣一一對應地替換為校正后的注意力得分矩陣，得到所述多頭協同注意力矩陣。

5.根據權利要求4所述的方法，其特征在于，所述對所述注意力張量進行變換，得到變換張量，包括：

基于第一卷積對所述注意力張量進行變換，得到第一變換向量；

對所述第一變換向量進行非線性變換，得到第二變換向量；

基于第二卷積對所述第二變換向量進行變換，得到所述變換張量。

6.根據權利要求1至5任一項所述的方法，其特征在于，所述多頭注意力得分矩陣中的注意力得分矩陣的個數與所述多頭協同注意力矩陣中的注意力得分矩陣的個數相等；所述多頭注意力得分矩陣中的每一注意力得分矩陣的大小與所述多頭協同注意力矩陣中的每一注意力得分矩陣的大小一一對應相同。

7.根據權利要求1至6中任一項所述的方法，其特征在于，所述基于所述多頭協同注意力矩陣獲取與所述文本對應的輸出結果，包括：

獲取所述文本的值特征；

基于所述值特征和所述多頭協同注意力矩陣獲取注意力輸出矩陣，基于所述注意力輸出矩陣獲取與所述文本對應的輸出結果。

8.一種文本處理裝置，其特征在于，包括：

第一獲取模塊，用于獲取與待處理的文本對應的多頭注意力得分矩陣；

校正模塊，用于對所述多頭注意力得分矩陣進行校正得到多頭協同注意力矩陣；

第二獲取模塊，用于基于所述多頭協同注意力矩陣獲取與所述文本對應的輸出結果。

9.一種電子設備，其特征在于，其包括：

一個或多個處理器；

存儲器；

一個或多個應用程序，其中所述一個或多個應用程序被存儲在所述存儲器中并被配置為由所述一個或多個處理器執行，所述一個或多個程序配置用于：執行根據權利要求1至7任一項所述的文本處理方法。

10.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執行以實現如權利要求1至7任一項所述的文本處理方法。