[發明專利]一種基于神經網絡結構搜索的機器翻譯譯文質量評估方法

有效

• 申請號: 202110414498.6
• 申請日: 2021-04-16
• 公開（公告）號: CN113033218B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 杜權
• 申請（專利權）人: 沈陽雅譯網絡技術有限公司
• 主分類號: G06F40/51
• 分類號: G06F40/51;G06F40/58;G06N3/045;G06N3/0442;G06N3/08
• 代理公司: 沈陽新科知識產權代理事務所(特殊普通合伙) 21117
• 代理人: 李曉光

本發明公開一種基于神經網絡結構搜索的機器翻譯譯文質量評估方法，步驟為：獲取WMT質量評估任務的訓練數據和WMT機器翻譯任務中的訓練數據；確定預測器?評估器模型中的預測器組件，使用基于進化算法的搜索策略進行預搜索；搭建經典的預測器?評估器模型，實行基于進化算法的搜索策略的最初使用Transformer神經機器翻譯模型來熱啟動初始化種群；使用基于進化算法的搜索策略進行預搜索；對預測器部分的網絡結構進行微調及訓練調優；使用完整模型進行質量評估的單詞級任務，并使用其在測試集上的準確度表征模型性能。本發明利用網絡結構搜索技術，針對質量評估的任務和數據特性為預測器組件量身定制網絡結構。

技術領域

本發明涉及一種機器翻譯譯文質量評估技術，具體為一種基于神經網絡結構搜索的機器翻譯譯文質量評估方法。

背景技術

近幾年來，隨著深度學習技術的廣泛傳播與使用，基于神經網絡的方法在很多領域都取得了驚人的成功?；谏窠浘W絡的方法在具體任務上的性能往往取決于神經網絡的結構，因而研究人員的大部分精力都集中于設計出更優秀的網絡結構。隨著各領域研究的不斷推進，越來越多優秀的神經網絡結構被提出，應用于各類任務的神經網絡結構也變得越來越復雜，這就意味著依靠人工設計神經網絡結構的試錯成本和時間成本會變得更加難以承受，由此，結構搜索技術應運而生。

結構搜索技術是一種在給定的搜索空間下，通過設計經濟高效的搜索方法，自動獲取性能更好、泛化能力更強的神經網絡結構的技術，旨在將研究人員從大量的腦力勞動中解脫出來。目前，結構搜索技術有幾種主流方法：基于梯度的網絡結構搜索方法、基于進化算法的結構搜索方法、基于強化學習的結構搜索方法以及基于貝葉斯優化的結構搜索方法。

譯文質量評估是機器翻譯中一個重要的領域，它能在不依賴參考譯文的情況下對譯文質量做出判斷，包括判斷單詞正誤、對句子或文檔進行打分等等。目前解決該任務最為經典的結構就是預測器-評估器模型，其中負責特征提取的預測器網絡結構往往很復雜。由于質量評估相關數據的匱乏，研究人員往往直接使用訓練好的翻譯模型或各種預訓練模型充當預測器。評估器的網絡結構則很簡單，往往直接采用雙向RNN網絡。

由于不能保證翻譯模型和預訓練模型足夠適合質量評估任務，本發明將借助神經網絡結構搜索技術為預測器量身定制網絡結構。目前網絡結構搜索方法大多應用于圖像分類和語言建模等比較輕量級的任務，那是因為神經網絡結構搜索的實現對設備的計算能力具有極高的要求，而輕量級的網絡結構搜索更有可能在現有的設備上實現。類似于質量評估這類任務，其神經網絡結構本身就比較復雜，將結構搜索技術應用于該任務具有一定難度。

發明內容

針對現有質量評估任務經典的預測器-評估器模型中預測器組件的網絡結構并不完全適合質量評估任務的現狀，本發明提供一種基于神經網絡結構搜索的機器翻譯譯文質量評估方法，借助網絡結構搜索技術對預測器組件的網絡結構進行搜索，從而進一步提高模型性能。

為了實現上述內容，本發明采用的技術方案是：

本發明提供一種基于神經網絡結構搜索的機器翻譯譯文質量評估方法，包括以下步驟：

1)獲取WMT質量評估任務的訓練數據和WMT機器翻譯任務中的訓練數據；

2)確定將要實施網絡結構搜索技術的部分為預測器-評估器模型中的預測器組件，根據組件結構和功能特性確定搜索空間，同時確定將使用基于進化算法的搜索策略進行預搜索；

3)搭建經典的預測器-評估器模型，其中評估器部分的結構直接使用傳統模型中的雙向GRU模型，預測器部分則根據搜索空間和搜索策略進行搭建，實行基于進化算法的搜索策略的最初使用Transformer神經機器翻譯模型來熱啟動初始化種群；

4)將神經機器翻譯作為目標任務，機器翻譯雙語數據作為訓練數據，使用基于進化算法的搜索策略進行預搜索；

5)利用WMT質量評估任務的數據對預測器部分的網絡結構進行微調；