[發(fā)明專利]文本處理方法和文本處理裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110742760.X
• 申請(qǐng)日: 2021-06-30
• 公開(kāi)（公告）號(hào): CN113553857B
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 丁思宇;王碩寰;孫宇
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06N3/0455;G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 張霞

本公開(kāi)提供了一種文本處理方法，涉及人工智能領(lǐng)域，尤其涉及自然語(yǔ)言處理領(lǐng)域。具體實(shí)現(xiàn)方案為：對(duì)待處理文本進(jìn)行編碼，得到編碼后的文本數(shù)據(jù)，其中編碼后的文本數(shù)據(jù)包括與待處理文本中的每個(gè)字相對(duì)應(yīng)的編碼數(shù)據(jù)以及與每個(gè)字對(duì)應(yīng)的位置標(biāo)識(shí)符ID；以及將編碼后的文本數(shù)據(jù)輸入自然語(yǔ)言處理模型，得到文本的處理結(jié)果；對(duì)待處理文本進(jìn)行編碼包括：針對(duì)待處理文本中的每個(gè)字，生成隨機(jī)的自然數(shù)，作為該字的位置ID，其中，針對(duì)待處理文本中的相鄰字，相鄰字的位置ID的數(shù)值之間的差值為非零自然數(shù)。本公開(kāi)還提供了一種文本處理裝置、一種電子設(shè)備、一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及一種計(jì)算機(jī)程序產(chǎn)品。

技術(shù)領(lǐng)域

本公開(kāi)涉及人工智能領(lǐng)域，尤其涉及自然語(yǔ)言處理領(lǐng)域，具體涉及一?種文本處理方法、文本處理裝置、電子設(shè)備、存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)?計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)

近年來(lái)，隨著自然語(yǔ)言處理(Natural?language?processing，NLP)技?術(shù)的不斷發(fā)展，基于大規(guī)模語(yǔ)料的預(yù)訓(xùn)練語(yǔ)言模型+下游任務(wù)微調(diào)的模式?已逐漸成為了主流的研究模式。其中，以Transformer為基礎(chǔ)架構(gòu)的模型(例?如，Bert)已幾乎完全取代過(guò)去以RNN(Recurrent?Neural?Network)為基?礎(chǔ)架構(gòu)的模型(例如，ELMo)，并且大幅提升了各類NLP任務(wù)的效果(例?如，文本匹配、文本生成、情感分類、文本摘要、問(wèn)答、檢索等)。

發(fā)明內(nèi)容

本公開(kāi)提供了一種文本處理方法、文本處理裝置、電子設(shè)備、存儲(chǔ)有?計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、以及計(jì)算機(jī)程序產(chǎn)品。

根據(jù)本公開(kāi)的一方面，提供了一種文本處理方法，包括：

對(duì)待處理文本進(jìn)行編碼，得到編碼后的文本數(shù)據(jù)，其中所述編碼后的?文本數(shù)據(jù)包括與所述待處理文本中的每個(gè)字相對(duì)應(yīng)的編碼數(shù)據(jù)以及與每?個(gè)字對(duì)應(yīng)的位置標(biāo)識(shí)符ID；以及

將所述編碼后的文本數(shù)據(jù)輸入自然語(yǔ)言處理模型，得到所述文本的處?理結(jié)果；

其中，所述對(duì)待處理文本進(jìn)行編碼包括：針對(duì)所述待處理文本中的每?個(gè)字，生成隨機(jī)的自然數(shù)，作為該字的位置ID，

其中，針對(duì)所述待處理文本中的相鄰字，所述相鄰字的位置ID的數(shù)?值之間的差值為非零自然數(shù)。

根據(jù)本公開(kāi)的另一方面，提供了一種文本處理裝置，包括：

編碼模塊，用于對(duì)待處理文本進(jìn)行編碼，得到編碼后的文本數(shù)據(jù)，其?中所述編碼后的文本數(shù)據(jù)包括與所述待處理文本中的每個(gè)字相對(duì)應(yīng)的編?碼數(shù)據(jù)以及與每個(gè)字對(duì)應(yīng)的位置標(biāo)識(shí)符ID；以及

自然語(yǔ)言處理模塊，被配置為將所述編碼后的文本數(shù)據(jù)輸入自然語(yǔ)言?處理模型，得到所述文本的處理結(jié)果；

其中，所述編碼模塊包括生成子模塊，用于針對(duì)所述待處理文本中的?每個(gè)字，生成隨機(jī)的自然數(shù)，作為該字的位置ID，

其中，針對(duì)所述待處理文本中的相鄰字，所述相鄰字的位置ID的數(shù)?值之間的差值為非零自然數(shù)。

根據(jù)本公開(kāi)的另一方面，提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被?所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述文本處?理方法。

根據(jù)本公開(kāi)的另一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算?機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行上述文本?處理方法。

根據(jù)本公開(kāi)的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程?序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述文本處理方法。