[發明專利]采用隱樹注意力的神經機器翻譯

在審

• 申請號: 201880024708.7
• 申請日: 2018-04-11
• 公開（公告）號: CN110506279A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: J·布拉德伯里
• 申請（專利權）人: 易享信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 11336 北京市磐華律師事務所
• 代理人: 高偉<國際申請>=PCT/US2018/

我們介紹了一種用于機器翻譯任務的注意力神經機器翻譯模型，該模型實現了自然語言處理的長期目標，以利用語言的層次結構而無需先驗注釋。該模型包括具有新型注意力RNNG解碼器的循環神經網絡語法(RNNG)編碼器，并應用策略梯度強化學習以在源序列和目標序列上誘導無監督樹結構。當對沒有明確分割或解析注釋的字符級數據集進行訓練時，模型學習似乎合理的分割和淺層解析，獲得接近注意力基線的性能。

其他申請的交叉引用

本申請要求于2018年2月21日提交的美國專利申請No.15/901,722和2017年4月14日提交的美國臨時專利申請No.62/485,856的優先權，其每一個的全部內容均通過引用并入本文。

引用

以下材料通過引用并入本文，如同在此完全闡述：

Chris Dyer，Miguel Ballesteros，Wang Ling，Austin Matthews和Noah ASmith。2016a。采用堆棧長短期記憶的基于轉移的依賴性解析(Transition-baseddependency parsing with stack long short-term memory)。在EMNLP(“Dyer等人，2016a”)；

Chris Dyer，Adhiguna Kuncoro，Miguel Ballesteros和Noah Smith。2016b。循環神經網絡語法(Recurrent neural network grammars)。在NAACL(“Dyer等人，2016b”)；

Adhiguna Kuncoro，Miguel Ballesteros，Lingpeng Kong，Chris Dyer，GrahamNeubig和Noah A.Smith。2017。循環神經網絡語法語法學習關于語法的內容是什么？(Whatdo recurrent neural network grammars learn about syntax？)在EACL(“Kuncoro等人”)；

Junyoung Chung，Sungjin Ahn和Yoshua Bengio。2017。分層多尺度循環神經網絡(Hierarchical multiscale recurrent neural networks)。在ICLR；

Akiko Eriguchi，Kazuma Hashimoto和Yoshimasa Tsuruoka。2016。樹到序列注意力神經機器翻譯(Tree-to-sequence attentional neural machine translation)。在ACL；以及

CS 224D：NLP的深度學習(Deep Learning for NLP)，講義：第一部分，第二部分，第三部分，第四部分和第五部分(“Socher等人”)。

所公開技術的領域

所公開的技術涉及人工智能型計算機和數字數據處理系統以及用于仿真智能的相應數據處理方法和產品(即，基于知識的系統、推理系統和知識獲取系統)；并包括具有不確定性的用于推理的系統(例如，模糊邏輯系統)、自適應系統、機器學習系統和人工神經網絡。所公開的技術使用深度神經網絡(諸如長短期記憶(LSTM)網絡)來進行自然語言處理任務。

背景技術

本節中討論的主題不應僅僅因為在本節中提及而被認為是現有技術。類似地，不應將本節中提到的或與作為背景提供的主題相關的問題假定為先前已在現有技術中被認識到。本節中的主題僅表示不同的方法，這些方法本身也可以對應于所要求保護的技術的實現。