[發明專利]翻譯模型的性能確定方法、置信度確定方法及裝置

在審

• 申請號: 202010148193.0
• 申請日: 2020-03-05
• 公開（公告）號: CN111368556A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 涂兆鵬;史樹明
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: G06F40/51
• 分類號: G06F40/51
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種翻譯模型的性能確定方法，其特征在于，所述方法包括：

獲取翻譯模型輸出的譯文以及所述譯文中各個單詞的置信度，所述置信度用于指示其對應的單詞為正確翻譯結果的概率；

基于所述置信度的取值，將各個所述置信度分為多個組；

確定各組置信度對應的平均置信度以及所述各組置信度所對應單詞的平均準確率；

基于所述各組置信度的所述平均置信度以及所述平均準確率，確定所述翻譯模型的置信度誤差，所述置信度誤差用于指示所述翻譯模型的性能。

2.根據權利要求1所述的方法，其特征在于，所述基于所述置信度的取值，將各個所述置信度分為多個組，包括：

將所述置信度的取值范圍平均劃分為多個子范圍；

基于各個所述置信度的取值，將取值在同一子范圍內的所述置信度分為一組。

3.根據權利要求1所述的方法，其特征在于，所述確定各組置信度對應的平均置信度以及所述各組置信度所對應單詞的平均準確率，包括：

基于所述各組置信度中所包含所述置信度的數目以及各個所述置信度的取值，確定所述各組置信度對應的所述平均置信度；

基于所述各組置信度所對應的單詞以及正確翻譯結果，確定所述各組置信度對應的所述平均準確率。

4.根據權利要求3所述的方法，其特征在于，所述基于所述各組置信度所對應的單詞以及正確翻譯結果，確定所述各組置信度對應的所述平均準確率，包括：

將各個單詞與各個所述正確翻譯結果進行對比；

若任一單詞與所述正確翻譯結果相同，則為所述任一單詞添加第一標簽；

若所述任一單詞與所述正確翻譯結果不同，則為所述任一單詞添加第二標簽；

基于所述第一標簽的數目以及所述第二標簽的數目，確定所述各組置信度對應的標簽總數目；

將所述第一標簽的數目占所述標簽總數目的比例，作為所述平均準確率。

5.根據權利要求1所述的方法，其特征在于，所述基于所述各組置信度的所述平均置信度以及所述平均準確率，確定所述翻譯模型的置信度誤差，包括：

將所述各組置信度的所述平均置信度以及所述平均準確率之間差值的絕對值，確定為中間誤差；

基于所述各組置信度所包含置信度的數目，對各個所述中間誤差進行加權平均，得到所述翻譯模型的置信度誤差。

6.一種翻譯模型的置信度確定方法，其特征在于，所述方法包括：

獲取翻譯模型所輸出的譯文中各個單詞的初始置信度，所述初始置信度用于指示所述翻譯模型所輸出單詞為正確翻譯結果的概率；

基于各個所述初始置信度的取值，確定各個所述初始置信度對應的平滑因子，所述平滑因子用于對各個所述初始置信度的取值進行調整；

基于各個所述初始置信度的取值以及各個所述初始置信度對應的平滑因子，確定所述各個單詞對應的目標置信度。

7.根據權利要求6所述的方法，其特征在于，所述基于各個所述初始置信度的取值，確定各個所述初始置信度對應的平滑因子，包括：

確定各個所述初始置信度的取值所屬的目標區間，不同目標區間對應于不同平滑因子；

基于各個所述初始置信度的取值所屬的目標區間，確定各個所述初始置信度對應的平滑因子。

8.一種翻譯模型的性能確定裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取翻譯模型輸出的譯文以及所述譯文中各個單詞的置信度，所述置信度用于指示其對應的單詞為正確翻譯結果的概率；

分組模塊，用于基于所述置信度的取值，將各個所述置信度分為多個組；

確定模塊，用于確定各組置信度對應的平均置信度以及所述各組置信度所對應單詞的平均準確率；基于所述各組置信度的所述平均置信度以及所述平均準確率，確定所述翻譯模型的置信度誤差，所述置信度誤差用于指示所述翻譯模型的性能。