[發(fā)明專(zhuān)利]文本數(shù)據(jù)管理方法、裝置、電子設(shè)備及非易失性存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211318585.2
• 申請(qǐng)日: 2022-10-26
• 公開(kāi)（公告）號(hào): CN115495583A
• 公開(kāi)（公告）日: 2022-12-20
• 發(fā)明（設(shè)計(jì)）人: 陳知生;陳迎昕
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)電信股份有限公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F40/216
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 董文倩

本申請(qǐng)公開(kāi)了一種文本數(shù)據(jù)管理方法、裝置、電子設(shè)備及非易失性存儲(chǔ)介質(zhì)。其中，該方法包括：依據(jù)第一處理規(guī)則，清除待處理文本數(shù)據(jù)中的干擾數(shù)據(jù)，得到第一目標(biāo)文本數(shù)據(jù)；依據(jù)第二處理規(guī)則，清除第一目標(biāo)文本數(shù)據(jù)中的干擾數(shù)據(jù)，得到第二目標(biāo)文本數(shù)據(jù)；確定第二目標(biāo)文本數(shù)據(jù)和第三目標(biāo)文本數(shù)據(jù)的相似度信息；在第二目標(biāo)文本數(shù)據(jù)和第三目標(biāo)文本數(shù)據(jù)的相似度信息符合第一預(yù)設(shè)相似度要求的情況下，確定第二目標(biāo)文本數(shù)據(jù)和第三目標(biāo)文本數(shù)據(jù)對(duì)應(yīng)同一目標(biāo)詞條。本申請(qǐng)解決了由于相關(guān)技術(shù)中在確定文本數(shù)據(jù)相似度時(shí)沒(méi)有考慮文本數(shù)據(jù)所屬的技術(shù)領(lǐng)域和文本格式造成的無(wú)法準(zhǔn)確確定不同文本數(shù)據(jù)之間的相似度的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種文本數(shù)據(jù)管理方法、裝置、電子設(shè)備及非易失性存儲(chǔ)介質(zhì)。

背景技術(shù)

在文本數(shù)據(jù)管理場(chǎng)景中，通常需要通過(guò)比對(duì)待處理文本數(shù)據(jù)與數(shù)據(jù)庫(kù)中已有的文本數(shù)據(jù)的相似度從而對(duì)待處理文本數(shù)據(jù)完成歸類(lèi)。但是相關(guān)技術(shù)中在確定待處理文本數(shù)據(jù)與已有文本數(shù)據(jù)之間的相似度時(shí)，通常不會(huì)考慮到不同文本數(shù)據(jù)所屬的技術(shù)領(lǐng)域造成的影響，也不會(huì)考慮不同文本數(shù)據(jù)的格式不同時(shí)所帶來(lái)的影響，因此無(wú)法準(zhǔn)確確定不同文本數(shù)據(jù)之間的相似度。

針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種文本數(shù)據(jù)管理方法、裝置、電子設(shè)備及非易失性存儲(chǔ)介質(zhì)，以至少解決由于相關(guān)技術(shù)中在確定文本數(shù)據(jù)相似度時(shí)沒(méi)有考慮文本數(shù)據(jù)所屬的技術(shù)領(lǐng)域和文本格式造成的無(wú)法準(zhǔn)確確定不同文本數(shù)據(jù)之間的相似度的技術(shù)問(wèn)題。

根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種文本數(shù)據(jù)管理方法，包括：依據(jù)第一處理規(guī)則，清除待處理文本數(shù)據(jù)中的干擾數(shù)據(jù)，得到第一目標(biāo)文本數(shù)據(jù)，其中，第一處理規(guī)則為目標(biāo)對(duì)象設(shè)定的處理規(guī)則；依據(jù)第二處理規(guī)則，清除第一目標(biāo)文本數(shù)據(jù)中的干擾數(shù)據(jù)，得到第二目標(biāo)文本數(shù)據(jù)，其中，第二處理規(guī)則為服務(wù)器推送的處理規(guī)則；確定第二目標(biāo)文本數(shù)據(jù)和第三目標(biāo)文本數(shù)據(jù)的相似度信息，其中，第三目標(biāo)文本數(shù)據(jù)為存儲(chǔ)在目標(biāo)文本數(shù)據(jù)庫(kù)中的文本數(shù)據(jù)；在第二目標(biāo)文本數(shù)據(jù)和第三目標(biāo)文本數(shù)據(jù)的相似度信息符合第一預(yù)設(shè)相似度要求的情況下，確定第二目標(biāo)文本數(shù)據(jù)和第三目標(biāo)文本數(shù)據(jù)對(duì)應(yīng)同一目標(biāo)詞條。

可選地，確定第二目標(biāo)文本數(shù)據(jù)和第三目標(biāo)文本數(shù)據(jù)的相似度信息包括：將第二目標(biāo)文本數(shù)據(jù)劃分為多個(gè)第一子文本數(shù)據(jù)；從第一子文本數(shù)據(jù)中確定被第三目標(biāo)文本數(shù)據(jù)包含的第二子文本數(shù)據(jù)；依據(jù)第二子文本數(shù)據(jù)的數(shù)量與第一子文本數(shù)據(jù)的數(shù)量的比值，確定相似度信息。

可選地，第一預(yù)設(shè)相似度要求包括比值大于第一預(yù)設(shè)比值，并且第二子文本數(shù)據(jù)的數(shù)量大于第一預(yù)設(shè)數(shù)量。

可選地，在不存在與第二目標(biāo)文本數(shù)據(jù)的相似度信息符合預(yù)設(shè)要求的第三目標(biāo)文本數(shù)據(jù)的情況下，文本數(shù)據(jù)管理方法還包括：創(chuàng)建與第二目標(biāo)文本數(shù)據(jù)對(duì)應(yīng)的目標(biāo)詞條，其中，目標(biāo)詞條用于檢索第二目標(biāo)文本數(shù)據(jù)。

可選地，依據(jù)第一處理規(guī)則，清除待處理文本數(shù)據(jù)中的干擾數(shù)據(jù)的步驟之前，文本數(shù)據(jù)管理方法還包括：獲取目標(biāo)對(duì)象輸入的處理規(guī)則文本數(shù)據(jù)；對(duì)處理規(guī)則文本數(shù)據(jù)進(jìn)行語(yǔ)義識(shí)別，生成第一處理規(guī)則；以及，獲取目標(biāo)對(duì)象輸入的正則表達(dá)式，并依據(jù)正則表達(dá)式生成第一處理規(guī)則。

可選地，干擾數(shù)據(jù)包括以下至少之一：序號(hào)，標(biāo)點(diǎn)符號(hào)，注釋符號(hào)。

可選地，文本數(shù)據(jù)管理方法還包括：獲取查詢(xún)文本數(shù)據(jù)，其中，查詢(xún)文本數(shù)據(jù)用于表征查詢(xún)意圖信息；依據(jù)第一處理規(guī)則和第二處理規(guī)則，清理查詢(xún)文本數(shù)據(jù)中的干擾數(shù)據(jù)，從而得到第四目標(biāo)文本數(shù)據(jù)；從目標(biāo)數(shù)據(jù)庫(kù)中確定與第四目標(biāo)文本數(shù)據(jù)之間的相似度信息符合第二預(yù)設(shè)相似度要求的第五目標(biāo)文本數(shù)據(jù)；推送第五目標(biāo)文本數(shù)據(jù)，以及第五目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)詞條。

可選地，文本數(shù)據(jù)管理方法還包括：向目標(biāo)服務(wù)器發(fā)送第一處理規(guī)則；獲取目標(biāo)服務(wù)器依據(jù)第一處理規(guī)則確定的第二處理規(guī)則，其中，第二處理規(guī)則為使用頻率大于第一預(yù)設(shè)頻率閾值的第一處理規(guī)則。