[發(fā)明專利]模型置信度分析方法、裝置、電子設(shè)備及計算機存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011637424.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112734205A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 黃振宇;王磊;鐵瑞雪;肖京
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06F40/151;G06F40/284;G06F40/289;G06F40/30;G06F16/35;G06N3/04
• 代理公司: 深圳市沃德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

本發(fā)明涉及性能測試技術(shù)，揭露了一種模型置信度分析方法，包括：獲取標(biāo)準(zhǔn)文本和與所述標(biāo)準(zhǔn)文本對應(yīng)的標(biāo)準(zhǔn)轉(zhuǎn)換結(jié)果；利用預(yù)設(shè)的文本轉(zhuǎn)換模型對所述標(biāo)準(zhǔn)文本進行文本轉(zhuǎn)換，得到預(yù)測轉(zhuǎn)換結(jié)果；根據(jù)所述預(yù)測轉(zhuǎn)換結(jié)果生成所述標(biāo)準(zhǔn)文本的預(yù)測結(jié)果指標(biāo)；根據(jù)所述預(yù)測轉(zhuǎn)換結(jié)果與所述標(biāo)準(zhǔn)轉(zhuǎn)換結(jié)果生成對比結(jié)果指標(biāo)；利用所述預(yù)測結(jié)果指標(biāo)與所述對比結(jié)果指標(biāo)構(gòu)建模型置信度指標(biāo)，利用所述模型置信度指標(biāo)對所述文本轉(zhuǎn)換模型進行置信度分析。此外，本發(fā)明還涉及區(qū)塊鏈技術(shù)，所述標(biāo)準(zhǔn)文本和所述標(biāo)準(zhǔn)轉(zhuǎn)換結(jié)果可存儲于區(qū)塊鏈的節(jié)點。本發(fā)明還提出一種模型置信度分析裝置、設(shè)備以及存儲介質(zhì)。本發(fā)明可以解決對模型輸出結(jié)果進行置信度評價的精確度不高的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及性能測試技術(shù)領(lǐng)域，尤其涉及一種模型置信度分析方法、裝置、電子設(shè)備及計算機可讀存儲介質(zhì)。

背景技術(shù)

自然語言處理領(lǐng)域中，需要利用智能模型去完成多種任務(wù)，例如，信息抽取、事件分類、話題抽取、命名實體識別等。為了提高智能模型的精確度及其它性能，需要對智能模型的輸出結(jié)果進行置信度評價。

現(xiàn)有的智能模型的置信度評價方法多為基于大數(shù)據(jù)的置信度評價方法，即基于大量的智能模型輸出設(shè)計整體輸出指標(biāo)，以實現(xiàn)根據(jù)整體輸出指標(biāo)對智能模型的參數(shù)進行調(diào)節(jié)。但該方法中，由于指標(biāo)是基于大量輸出數(shù)據(jù)整體設(shè)計而成，因此無法實現(xiàn)對單個智能模型輸出的置信度進行評價，導(dǎo)致對智能模型輸出的置信度評價的精確度不高。

發(fā)明內(nèi)容

本發(fā)明提供一種模型置信度分析方法、裝置及計算機可讀存儲介質(zhì)，其主要目的在于解決對模型輸出結(jié)果進行置信度評價的精確度不高的問題。

為實現(xiàn)上述目的，本發(fā)明提供的一種模型置信度分析方法，包括：

獲取標(biāo)準(zhǔn)文本和與所述標(biāo)準(zhǔn)文本對應(yīng)的標(biāo)準(zhǔn)轉(zhuǎn)換結(jié)果；

利用預(yù)設(shè)的文本轉(zhuǎn)換模型對所述標(biāo)準(zhǔn)文本進行文本轉(zhuǎn)換，得到預(yù)測轉(zhuǎn)換結(jié)果；

根據(jù)所述預(yù)測轉(zhuǎn)換結(jié)果生成所述標(biāo)準(zhǔn)文本的預(yù)測結(jié)果指標(biāo)；

根據(jù)所述預(yù)測轉(zhuǎn)換結(jié)果與所述標(biāo)準(zhǔn)轉(zhuǎn)換結(jié)果生成對比結(jié)果指標(biāo)；

利用所述預(yù)測結(jié)果指標(biāo)與所述對比結(jié)果指標(biāo)構(gòu)建模型置信度指標(biāo)，利用所述模型置信度指標(biāo)對所述文本轉(zhuǎn)換模型進行置信度分析。

可選地，所述利用預(yù)設(shè)的文本轉(zhuǎn)換模型對所述標(biāo)準(zhǔn)文本進行文本轉(zhuǎn)換，得到預(yù)測轉(zhuǎn)換結(jié)果，包括：

利用所述卷積神經(jīng)網(wǎng)絡(luò)的卷積層對所述標(biāo)準(zhǔn)文本進行卷積，得到卷積文本；

對所述卷積文本進行池化，得到特征文本；

對所述特征文本進行全連接處理，得到全連接文本；

利用激活函數(shù)對所述全連接文本進行概率分類，得到預(yù)測轉(zhuǎn)換結(jié)果。

可選地，所述根據(jù)所述預(yù)測轉(zhuǎn)換結(jié)果生成所述標(biāo)準(zhǔn)文本的預(yù)測結(jié)果指標(biāo)，包括：

對所述預(yù)測轉(zhuǎn)換結(jié)果進行語句結(jié)構(gòu)標(biāo)注，得到標(biāo)注結(jié)果；

根據(jù)所述標(biāo)注結(jié)果進行計算，得到文本語法結(jié)構(gòu)指標(biāo)；

對所述預(yù)測轉(zhuǎn)換結(jié)果進行詞向量轉(zhuǎn)換，得到結(jié)果向量；

利用所述結(jié)果向量計算所述文本語義指標(biāo)；

將所述文本語法結(jié)構(gòu)指標(biāo)和所述文本語義指標(biāo)匯集為預(yù)測結(jié)果指標(biāo)。

可選地，所述對所述預(yù)測轉(zhuǎn)換結(jié)果進行詞向量轉(zhuǎn)換，得到結(jié)果向量，包括：

對所述預(yù)測轉(zhuǎn)換結(jié)果進行文本分詞處理，得到多個預(yù)測文本分詞；

對所述多個預(yù)測文本分詞進行詞向量編碼，得到每個預(yù)測文本分詞對應(yīng)的結(jié)果向量。