[發(fā)明專利]文本處理方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210033962.1
• 申請日: 2022-01-12
• 公開（公告）號(hào): CN116467405A
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 曾雙;劉康龍;荊寧;梁海金
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/35;G06F40/284
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 彭奇;吳素花

本申請實(shí)施例提供一種文本處理方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，至少應(yīng)用于人工智能技術(shù)領(lǐng)域，其中，方法包括：針對(duì)于待處理文本中的每一第一類型詞，對(duì)第一類型詞和待處理文本進(jìn)行編碼處理，得到對(duì)應(yīng)于第一類型詞和待處理文本的文本詞向量；對(duì)文本詞向量進(jìn)行上下位關(guān)系解碼處理，得到待處理文本中的每一分詞與第一類型詞具有上下位關(guān)系的置信度；根據(jù)置信度從至少兩個(gè)分詞中確定出與每一第一類型詞對(duì)應(yīng)的第二類型詞；將第一類型詞與第二類型詞進(jìn)行關(guān)聯(lián)，得到對(duì)應(yīng)于待處理文本的至少一個(gè)上下位詞對(duì)。通過本申請，能夠準(zhǔn)確的識(shí)別出待處理文本中的多對(duì)上下位詞對(duì)，并且能夠提高上下位詞對(duì)的識(shí)別效率。

技術(shù)領(lǐng)域

本申請實(shí)施例涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，涉及但不限于一種文本處理方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)上的信息量和數(shù)據(jù)量激增，從而提高了信息搜索的難度，而隨著人工智能技術(shù)的發(fā)展，對(duì)信息搜索的搜索準(zhǔn)確度要求越來越高。在進(jìn)行信息搜索時(shí)，大部分場景下是在輸入上位概念詞時(shí)檢索與該上位概念詞對(duì)應(yīng)的下位實(shí)體詞的信息，或者是在輸入下位實(shí)體詞時(shí)檢索與該下位實(shí)體詞對(duì)應(yīng)的上位概念詞的信息，因此，需要預(yù)先得到上位概念詞與下位實(shí)體詞之間的對(duì)應(yīng)關(guān)系，也就是需要預(yù)先確定出上下位詞對(duì)。

相關(guān)技術(shù)中，在確定上下位詞對(duì)時(shí)，通常采用以下方式實(shí)現(xiàn)：基于預(yù)定規(guī)則的方式、通過模板匹配的方式、采用序列標(biāo)注的方式或者基于上下位關(guān)系分類的方式。

但是，相關(guān)技術(shù)中的方法均不能對(duì)僅輸入純文本的情況進(jìn)行準(zhǔn)確的上下位詞對(duì)識(shí)別，且每次只能識(shí)別文本中的一對(duì)上下位詞對(duì)，因此，相關(guān)技術(shù)中的方法對(duì)上下位詞對(duì)的識(shí)別準(zhǔn)確率和識(shí)別效率均較低。

發(fā)明內(nèi)容

本申請實(shí)施例提供一種文本處理方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，至少應(yīng)用于人工智能技術(shù)領(lǐng)域，能夠準(zhǔn)確的識(shí)別出待處理文本中的多對(duì)上下位詞對(duì)，并且能夠提高上下位詞對(duì)的識(shí)別效率。

本申請實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

本申請實(shí)施例提供一種文本處理方法，所述方法包括：

對(duì)待處理文本進(jìn)行第一類型詞識(shí)別，得到至少一個(gè)第一類型詞；

針對(duì)于每一所述第一類型詞，對(duì)所述第一類型詞和所述待處理文本進(jìn)行編碼處理，得到對(duì)應(yīng)于所述第一類型詞和所述待處理文本的文本詞向量；其中，所述待處理文本包括至少兩個(gè)分詞；

對(duì)所述文本詞向量進(jìn)行上下位關(guān)系解碼處理，得到所述至少兩個(gè)分詞中的每一分詞與所述第一類型詞具有上下位關(guān)系的置信度；

根據(jù)所述置信度，從所述至少兩個(gè)分詞中確定出與每一所述第一類型詞對(duì)應(yīng)的第二類型詞；

將所述第一類型詞與所述第二類型詞進(jìn)行關(guān)聯(lián)，得到對(duì)應(yīng)于所述待處理文本的至少一個(gè)上下位詞對(duì)。

本申請實(shí)施例提供一種文本處理裝置，所述裝置包括：

識(shí)別模塊，用于對(duì)待處理文本進(jìn)行第一類型詞識(shí)別，得到至少一個(gè)第一類型詞；

編碼處理模塊，用于針對(duì)于每一所述第一類型詞，對(duì)所述第一類型詞和所述待處理文本進(jìn)行編碼處理，得到對(duì)應(yīng)于所述第一類型詞和所述待處理文本的文本詞向量；其中，所述待處理文本包括至少兩個(gè)分詞；

解碼處理模塊，用于對(duì)所述文本詞向量進(jìn)行上下位關(guān)系解碼處理，得到所述至少兩個(gè)分詞中的每一分詞與所述第一類型詞具有上下位關(guān)系的置信度；

確定模塊，用于根據(jù)所述置信度，從所述至少兩個(gè)分詞中確定出與每一所述第一類型詞對(duì)應(yīng)的第二類型詞；

關(guān)聯(lián)模塊，用于將所述第一類型詞與所述第二類型詞進(jìn)行關(guān)聯(lián)，得到對(duì)應(yīng)于所述待處理文本的至少一個(gè)上下位詞對(duì)。

本申請實(shí)施例提供一種文本處理設(shè)備，包括：