[發(fā)明專利]文本處理方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010049188.4
• 申請日: 2020-01-16
• 公開（公告）號: CN113127615A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 莊毅萌;汪華東;涂眉
• 申請（專利權(quán)）人: 北京三星通信技術(shù)研究有限公司;三星電子株式會社
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 張筱寧

本申請實施例提供了一種文本處理方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)，涉及自然語言處理技術(shù)領(lǐng)域。該方法包括：獲取與待處理的文本對應(yīng)的多頭注意力得分矩陣；對所述多頭注意力得分矩陣進(jìn)行校正得到多頭協(xié)同注意力矩陣；基于所述多頭協(xié)同注意力矩陣獲取與所述文本對應(yīng)的輸出結(jié)果。本申請實施例提供的文本處理方法可以提高對文本處理的準(zhǔn)確率，并使多頭注意力機(jī)制有機(jī)會通過其他頭修正多層的每一個頭的得分并且獲得更好的協(xié)同作用。

技術(shù)領(lǐng)域

本申請涉及自然語言處理技術(shù)領(lǐng)域，具體而言，本申請涉及一種文本處理方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

自然語言處理是計算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。自然語言處理包括語言理解、語言問答、語言序列預(yù)測、機(jī)器翻譯以及自然語言推理等等。

通常對語言文本進(jìn)行處理時，會用到基于注意力機(jī)制的模型，例如Transformer模型，目前的采用基于注意力機(jī)制的模型對文本進(jìn)行處理時，直接基于多頭注意力得分矩陣獲取文本的輸出結(jié)果，因此，有必要對現(xiàn)有的文本處理方法進(jìn)行優(yōu)化。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N文本處理方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)，用于解決在將智能聊天機(jī)器人應(yīng)用于與用戶進(jìn)行交互時，如何更為準(zhǔn)確地輸出答復(fù)信息，該技術(shù)方案如下所示：

第一方面，提供了一種文本處理方法，該方法包括：

獲取與待處理的文本對應(yīng)的多頭注意力得分矩陣；

對多頭注意力得分矩陣進(jìn)行校正得到多頭協(xié)同注意力矩陣；

基于多頭協(xié)同注意力矩陣獲取與文本對應(yīng)的輸出結(jié)果。

第二方面，提供了一種文本處理裝置，該裝置包括：

第一獲取模塊，用于獲取與待處理的文本對應(yīng)的多頭注意力得分矩陣；

校正模塊，用于對多頭注意力得分矩陣進(jìn)行校正得到多頭協(xié)同注意力矩陣；

第二獲取模塊，用于基于多頭協(xié)同注意力矩陣獲取與文本對應(yīng)的輸出結(jié)果。

第三方面，提供了一種電子設(shè)備，該電子設(shè)備包括：

一個或多個處理器；

存儲器；

一個或多個應(yīng)用程序，其中一個或多個應(yīng)用程序被存儲在存儲器中并被配置為由一個或多個處理器執(zhí)行，一個或多個程序配置用于：執(zhí)行根據(jù)第一方面所示的文本處理方法所對應(yīng)的操作。

第四方面，提供了一種計算機(jī)可讀存儲介質(zhì)，存儲介質(zhì)存儲有至少一條指令、至少一段程序、代碼集或指令集，至少一條指令、至少一段程序、代碼集或指令集由處理器加載并執(zhí)行以實現(xiàn)如第一方面所示的文本處理方法。

本申請?zhí)峁┑募夹g(shù)方案帶來的有益效果是：

本申請?zhí)峁┝艘环N文本處理方法、裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)，與現(xiàn)有技術(shù)相比，本申請通過獲取與待處理的文本對應(yīng)的多頭注意力得分矩陣，對多頭注意力得分矩陣進(jìn)行校正得到多頭協(xié)同注意力矩陣，采用校正后得到的多頭協(xié)同注意力矩陣代替原來的多頭注意力得分矩陣獲取與文本對應(yīng)的輸出結(jié)果，可以提高對文本處理的準(zhǔn)確率。

進(jìn)一步的，通過對多頭注意力得分矩陣中進(jìn)行校正得到多頭協(xié)同注意力矩陣，使多頭注意力機(jī)制有機(jī)會通過其他頭修正多層的每一個頭的得分并且獲得更好的協(xié)同作用。

進(jìn)一步的，上述的文本處理方法中，在對多頭注意力得分矩陣進(jìn)行校正時，算數(shù)計算操作的復(fù)雜度較小，可以在獲得更好的協(xié)同作用的同時減少計算量。

附圖說明

為了更清楚地說明本申請實施例中的技術(shù)方案，下面將對本申請實施例描述中所需要使用的附圖作簡單地介紹。