[發明專利]基于圖的雙語遞歸自編碼器

有效

• 申請號: 201710257714.4
• 申請日: 2017-04-19
• 公開（公告）號: CN107092594B
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 蘇勁松;殷建民;宋珍巧;阮志偉
• 申請（專利權）人: 廈門大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/28
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

基于圖的雙語遞歸自編碼器，涉及基于深度學習的自然語言處理。從平行語料中抽取雙語短語作為訓練數據，計算雙語短語之間的翻譯概率；基于樞軸語言的方法，計算復述概率；構造雙語短語的語義關系圖；基于雙語短語的語義關系圖；量化模型目標函數，進行模型參數訓練。以更好地學習雙語短語嵌入表示為目標，針對傳統方法缺乏考慮自然語言中更加充分的語義約束關系，提出一種基于圖的雙語遞歸自編碼器。算法明確、思路清晰，可以提高學到的雙語短語嵌入表示，更好地作用于自然語言處理任務。首先構造雙語短語的語義關系圖，通過圖結構定義兩個隱式語義約束，用于學習更加精確的雙語短語嵌入表示，進而更好地應用于自然語言處理任務中，如機器翻譯。

技術領域

本發明涉及基于深度學習的自然語言處理，尤其是涉及基于圖的雙語遞歸自編碼器。

背景技術

自然語言處理是計算機學科人工智能的一個重要研究方向。它研究如何使得人與計算機之間能夠使用自然語言進行有效通信。它是一門融語言學、計算機科學、數學于一體的學科。

本項發明主要涉及到構建基于圖的雙語遞歸自編碼器，并將其用于雙語短語嵌入表示建模。神經網絡是一種應用類似于大腦神經突觸聯結結構進行信息處理的數學模型。近年來，基于神經網絡的自然語言處理研究已經成為該學科發展的主要趨勢，各種神經網絡層出不窮。其中，遞歸神經網絡(Recursive Neural Network，簡稱為RecNN)被廣泛用于文本的嵌入表示研究。該網絡依據文本的樹形拓撲結構(這個結構可以通過最小化還原誤差之和或者句法分析得到)來進行自底向上的語義表示遞歸合并，最終得到整個文本的語義表示。目前，RecNN已經在自然語言處理的許多任務上得到廣泛應用，例如，情感分類[1]、復述檢測[2]、語義分析[3]和統計機器翻譯[4][5]等等。自編碼器(Auto-Encoder,簡稱AE)最初是作為一個降維技巧而提出的，現在，AE更多的是用于獲取維數更高且有意義的表示。AE由編碼器和解碼器兩部分組成，將輸入進行編碼之后再解碼得到輸出，通過最小化輸入和輸出之間的重構誤差來得到更加準確且有意義的語義表示。目前，AE經過不斷發展，出現了很多變種，如Denoising Auto-Encoder(DAE)，Constractive Auto-Encoder(CAE)等。在自然語言處理中，統計方法占據著重要的地位，在分詞、詞性標注、句法分析等任務中都有著出色的表現。然而與統計語言所能描述的語言現象相比，實際應用中的自然語言要復雜得多，特別是各種各樣的約束條件。圖模型把圖論和統計方法結合起來，把基于圖的推理應用到概率統計框架中，為描述自然語言中各種復雜的約束關系提出了一種可行的思路。目前，圖模型已在自然語言處理任務中得到廣泛應用[6][7][8]，如句法分析。

在雙語短語嵌入表示研究方面，傳統的方法[9][10][11][12]主要包括兩個步驟：1)采用遞歸自編碼器(Recursive Auto-Encoder,簡稱RAE)分別生成單語短語的嵌入表示；具體實現中，傳統方法根據還原誤差之和最小的原則建立與短語相對應的二叉樹結構，然后以該樹結構為基礎進行語義表示遞歸合并，生成短語的嵌入表示向量；2)在雙語遞歸自編碼器(Bilingual Auto-Encoder,簡稱BRAE)中提出的，根據雙語短語語義相同的特點來進行雙語短語嵌入表示的相互監督訓練。然而，傳統方法在建模過程中僅考慮重構誤差和雙語短語的語義對應關系，而缺乏考慮更加充分的語義約束關系。因此，現有的方法仍然存在著不足，如何學習得到更好的雙語短語嵌入表示仍是一個值得研究的問題。

參考文獻：

[1]Richard Socher,Jeffrey Pennington,Eric H.Huang,Andrew Y.Ng,andChristopher D.Manning.Semi-Supervised Recursive Autoencoders for PredictingSentiment Distributions.In Proc.Of EMNLP,2011.