[發(fā)明專利]翻譯模型的性能確定方法、置信度確定方法及裝置在審
| 申請?zhí)枺?/td> | 202010148193.0 | 申請日： | 2020-03-05 |
| 公開（公告）號： | CN111368556A | 公開（公告）日： | 2020-07-03 |
| 發(fā)明（設(shè)計）人： | 涂兆鵬;史樹明 | 申請（專利權(quán)）人： | 深圳市騰訊計算機系統(tǒng)有限公司 |
| 主分類號： | G06F40/51 | 分類號： | G06F40/51 |
| 代理公司： | 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138 | 代理人： | 祝亞男 |
| 地址： | 518000 廣東省深圳市南*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 翻譯 模型 性能 確定 方法 置信 裝置 | ||
本申請公開了一種翻譯模型的性能確定方法、置信度確定方法、裝置、設(shè)備及存儲介質(zhì)，屬于人工智能技術(shù)領(lǐng)域。本申請通過獲取翻譯模型輸出的譯文以及該譯文中各個單詞的置信度，該置信度用于指示其對應(yīng)的單詞為正確翻譯結(jié)果的概率；基于該置信度的取值，將各個置信度分為多個組；確定各組置信度對應(yīng)的平均置信度以及各組置信度所對應(yīng)單詞的平均準(zhǔn)確率；基于各組置信度的平均置信度以及平均準(zhǔn)確率，確定該翻譯模型的置信度誤差，該置信度誤差用于指示該翻譯模型的性能。應(yīng)用上述技術(shù)方案，可以準(zhǔn)確獲取到翻譯模型的置信度誤差，基于該置信度誤差可以更準(zhǔn)確地對翻譯模型性能進(jìn)行分析，便于對翻譯模型進(jìn)行改進(jìn)。
技術(shù)領(lǐng)域
本申請涉及人工智能技術(shù)領(lǐng)域，特別涉及一種翻譯模型的性能確定方法、置信度確定方法、裝置、設(shè)備及存儲介質(zhì)。
背景技術(shù)
隨著人工智能技術(shù)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用越來越多元化，例如，在計算機輔助翻譯的場景中，可以基于深度神經(jīng)網(wǎng)絡(luò)構(gòu)建機器翻譯模型，由機器翻譯模型對輸入文本進(jìn)行處理，得到輸入文本對應(yīng)的譯文以及譯文中各個詞組的置信度，其中，置信度可以用于表示一個詞組為正確翻譯結(jié)果的概率。當(dāng)機器翻譯模型對某個詞組的置信度較低時，可以將這一信息反饋給譯員，便于譯員準(zhǔn)確定位到譯文中翻譯不準(zhǔn)確的詞組，對譯文進(jìn)行再次編輯。
但是，在實際應(yīng)用中，模型所輸出的置信度可能會存在誤差，這種誤差會對模型輸出結(jié)果的準(zhǔn)確性造成影響，使開發(fā)人員難以準(zhǔn)確掌握模型的性能，進(jìn)而難以對模型的進(jìn)行改進(jìn)，因此，如何確定模型的置信度誤差，是一個重要研究方向。
發(fā)明內(nèi)容
本申請實施例提供了一種翻譯模型的性能確定方法、置信度確定方法、裝置、設(shè)備及存儲介質(zhì)，可以獲取到翻譯模型的置信度誤差，進(jìn)而確定模型性能。該技術(shù)方案如下：
一方面，提供了一種翻譯模型的性能確定方法，該方法包括：
獲取翻譯模型輸出的譯文以及該譯文中各個單詞的置信度，該置信度用于指示其對應(yīng)的單詞為正確翻譯結(jié)果的概率；
基于該置信度的取值，將各個該置信度分為多個組；
確定各組置信度對應(yīng)的平均置信度以及該各組置信度所對應(yīng)單詞的平均準(zhǔn)確率；
基于該各組置信度的該平均置信度以及該平均準(zhǔn)確率，確定該翻譯模型的置信度誤差，該置信度誤差用于指示該翻譯模型的性能。
一方面，提供了一種翻譯模型的置信度確定方法，該方法包括：
獲取翻譯模型所輸出的譯文中各個單詞的初始置信度，該初始置信度用于指示該翻譯模型所輸出單詞為正確翻譯結(jié)果的概率；
基于各個該初始置信度的取值，確定各個該初始置信度對應(yīng)的平滑因子，該平滑因子用于對各個該初始置信度的取值進(jìn)行調(diào)整；
基于各個該初始置信度的取值以及各個該初始置信度對應(yīng)的平滑因子，確定該各個單詞對應(yīng)的目標(biāo)置信度。
一方面，提供了一種翻譯模型的性能確定裝置，該裝置包括：
獲取模塊，用于獲取翻譯模型輸出的譯文以及該譯文中各個單詞的置信度，該置信度用于指示其對應(yīng)的單詞為正確翻譯結(jié)果的概率；
分組模塊，用于基于該置信度的取值，將各個該置信度分為多個組；
確定模塊，用于確定各組置信度對應(yīng)的平均置信度以及該各組置信度所對應(yīng)單詞的平均準(zhǔn)確率；基于該各組置信度的該平均置信度以及該平均準(zhǔn)確率，確定該翻譯模型的置信度誤差，該置信度誤差用于指示該翻譯模型的性能。
一方面，提供了一種翻譯模型的置信度確定裝置，該裝置包括：
獲取模塊，用于獲取翻譯模型所輸出的譯文中各個單詞的初始置信度，該初始置信度用于指示該翻譯模型所輸出單詞為正確翻譯結(jié)果的概率；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳市騰訊計算機系統(tǒng)有限公司，未經(jīng)深圳市騰訊計算機系統(tǒng)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010148193.0/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
