[發(fā)明專利]一種節(jié)點(diǎn)文本融合方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110705528.9
• 申請(qǐng)日: 2021-06-24
• 公開（公告）號(hào): CN113420161A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計(jì)）人: 孫梓淇;白祚;莫洋
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F40/30;G06K9/62
• 代理公司: 深圳市世聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44385
• 代理人: 汪琳琳

本申請(qǐng)實(shí)施例屬于大數(shù)據(jù)中的數(shù)據(jù)分析領(lǐng)域，涉及一種基于圖傳播算法的節(jié)點(diǎn)文本融合方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。此外，本申請(qǐng)還涉及區(qū)塊鏈技術(shù)，用戶的待處理節(jié)點(diǎn)文本以及所述節(jié)點(diǎn)數(shù)據(jù)集合可存儲(chǔ)于區(qū)塊鏈中。本申請(qǐng)通過采用訓(xùn)練好的語言模型對(duì)待處理的待處理節(jié)點(diǎn)文本進(jìn)行語義表示得到節(jié)點(diǎn)語義向量，使得后續(xù)計(jì)算文本相似度更精確，找到相近語義的概念節(jié)點(diǎn)；通過圖傳播算法迭代收斂得到更可靠的相近概念數(shù)據(jù)，有效增強(qiáng)融合后的概念數(shù)據(jù)的解析性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及大數(shù)據(jù)中的數(shù)據(jù)分析領(lǐng)域，尤其涉及一種基于圖傳播算法的節(jié)點(diǎn)文本融合方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

知識(shí)圖譜(Knowledge Graph)，在圖書情報(bào)界稱為知識(shí)域可視化或知識(shí)領(lǐng)域映射地圖，是顯示知識(shí)發(fā)展進(jìn)程與結(jié)構(gòu)關(guān)系的一系列各種不同的圖形，用可視化技術(shù)描述知識(shí)資源及其載體，挖掘、分析、構(gòu)建、繪制和顯示知識(shí)及它們之間的相互聯(lián)系。

現(xiàn)有一種概念融合方法，即基于文本相似度計(jì)算概念本體之間的相似度進(jìn)而實(shí)現(xiàn)相同或者相近節(jié)點(diǎn)的融合。

然而，申請(qǐng)人發(fā)現(xiàn)傳統(tǒng)的概念融合方法普遍不智能，由于不同詞組的含義不同，導(dǎo)致本身相似的詞組存在較大歧義，從而使得上述僅基于文本相似度計(jì)算的概念融合方法會(huì)不可避免地產(chǎn)生許多干擾性文本，在后續(xù)的機(jī)器學(xué)習(xí)中引入了不少雜質(zhì)，影響了學(xué)習(xí)的效果，進(jìn)而影響了最后的實(shí)體關(guān)系預(yù)測以及知識(shí)圖譜構(gòu)建，由此可見，傳統(tǒng)的概念融合方法存在噪聲過多的問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提出一種基于圖傳播算法的節(jié)點(diǎn)文本融合方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決傳統(tǒng)的概念融合方法存在噪聲過多的問題。

為了解決上述技術(shù)問題，本申請(qǐng)實(shí)施例提供一種基于圖傳播算法的節(jié)點(diǎn)文本融合方法，采用了如下所述的技術(shù)方案：

接收用戶終端發(fā)送的攜帶有待處理節(jié)點(diǎn)文本的節(jié)點(diǎn)融合請(qǐng)求；

根據(jù)訓(xùn)練好的語言模型對(duì)所述待處理節(jié)點(diǎn)文本進(jìn)行語義表示操作，得到節(jié)點(diǎn)語義向量；

根據(jù)所述節(jié)點(diǎn)語義向量計(jì)算所述每兩個(gè)待處理節(jié)點(diǎn)文本之間的文本相似度；

對(duì)所述文本相似度大于所述關(guān)聯(lián)閾值的所述待處理節(jié)點(diǎn)文本建立關(guān)聯(lián)關(guān)系，得到節(jié)點(diǎn)數(shù)據(jù)集合；

根據(jù)所述節(jié)點(diǎn)數(shù)據(jù)集合構(gòu)建與所述待處理節(jié)點(diǎn)文本相對(duì)應(yīng)的原始知識(shí)圖譜；

根據(jù)圖傳播算法對(duì)所述原始知識(shí)圖譜進(jìn)行篩選操作，得到同標(biāo)簽節(jié)點(diǎn)數(shù)據(jù)；

根據(jù)預(yù)設(shè)的主節(jié)點(diǎn)確認(rèn)策略在所述同標(biāo)簽節(jié)點(diǎn)數(shù)據(jù)中確認(rèn)主節(jié)點(diǎn)概念以及融合節(jié)點(diǎn)概念，得到語義融合后的節(jié)點(diǎn)數(shù)據(jù)集合。

為了解決上述技術(shù)問題，本申請(qǐng)實(shí)施例還提供一種基于圖傳播算法的節(jié)點(diǎn)文本融合裝置，采用了如下所述的技術(shù)方案：

請(qǐng)求接收模塊，用于接收用戶終端發(fā)送的攜帶有待處理節(jié)點(diǎn)文本的節(jié)點(diǎn)融合請(qǐng)求；

語義表示模塊，用于根據(jù)訓(xùn)練好的語言模型對(duì)所述待處理節(jié)點(diǎn)文本進(jìn)行語義表示操作，得到節(jié)點(diǎn)語義向量；

相似度計(jì)算模塊，用于根據(jù)所述節(jié)點(diǎn)語義向量計(jì)算所述每兩個(gè)待處理節(jié)點(diǎn)文本之間的文本相似度；

關(guān)聯(lián)關(guān)系建立模塊，用于對(duì)所述文本相似度大于所述關(guān)聯(lián)閾值的所述待處理節(jié)點(diǎn)文本建立關(guān)聯(lián)關(guān)系，得到節(jié)點(diǎn)數(shù)據(jù)集合；

圖譜構(gòu)建模塊，用于根據(jù)所述節(jié)點(diǎn)數(shù)據(jù)集合構(gòu)建與所述待處理節(jié)點(diǎn)文本相對(duì)應(yīng)的原始知識(shí)圖譜；

篩選操作模塊，用于根據(jù)圖傳播算法對(duì)所述原始知識(shí)圖譜進(jìn)行篩選操作，得到同標(biāo)簽節(jié)點(diǎn)數(shù)據(jù)；

節(jié)點(diǎn)確認(rèn)模塊，用于根據(jù)預(yù)設(shè)的主節(jié)點(diǎn)確認(rèn)策略在所述同標(biāo)簽節(jié)點(diǎn)數(shù)據(jù)中確認(rèn)主節(jié)點(diǎn)概念以及融合節(jié)點(diǎn)概念，得到語義融合后的節(jié)點(diǎn)數(shù)據(jù)集合。