[發明專利]自然語言深度學習系統和方法

有效

• 申請號: 201610341719.0
• 申請日: 2016-05-20
• 公開（公告）號: CN107402914B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 楊銘;張姝;孫俊
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/30;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 朱勝;江河清

本發明涉及自然語言深度學習系統和方法。該系統包括：誤差計算單元，其被配置成在對自然語言深度學習系統進行訓練時，根據基于樣本對的損失函數來計算樣本的誤差值，損失函數為相似度損失函數與類別損失函數的組合，其中，相似度損失函數基于如下準則來定義：當樣本對的真實類別相同時，其類別預測向量值之間的差別應當較小，而當樣本對的真實類別不同時，其類別預測向量值之間的差別應當較大，類別損失函數基于樣本對的類別誤差來定義。在該系統中，基于樣本對設計損失函數，減少了基于樣本對損失學習的代價。

技術領域

本發明涉及信息處理領域，更具體地涉及一種自然語言深度學習系統和方法。

背景技術

深度學習與自然語言處理技術的結合是近年來的研究熱點。在現有深度學習模型系統中，以詞為基本特征單元是自然語言處理深度學習框架的常見形式。通過研究表明，自然語言處理特征可以有效提升各種任務的學習性能，所以研究者通常會使用多種不同的詞特征以引入更多可學習因素。但是在實際操作中會存在如下兩方面問題：

1、生成詞特征的自然語言工具都依賴于分詞技術，不同的分詞技術導致相同自然語言文本會產生不同的詞序列，從而使詞特征存在差異。這樣帶來的問題是多源詞特征存在融合誤差。

2、詞嵌入是深度學習領域在自然語言處理領域中的一個重要環節。其主要作用是將詞映射到一個詞表示向量。通常情況下，一個好的詞表示向量應該使在語義上相近的詞在向量空間中距離近；反之，距離越遠。由于通過機器學習從隨機向量表示到好的向量表示往往需要大量的語料。因此，在樣本規模不足的任務中，往往會以前人訓練好的詞表示作為詞嵌入的初始值。這樣就不可避免會出現未見詞現象。盡管一些訓練好的詞嵌入將未見詞都初始化到一個相同的向量，但不同未見詞向意思相近詞匯靠近的代價顯然是不同的。簡單將所有未見詞初始化到一個相同的向量會導致神經網絡局部收斂過慢。

除處理詞特征方面的問題之外，訓練樣本不足也是深度學習與自然語言處理結合的一大障礙。在無充足樣本的情況下，如何通過用更好的損失函數描述誤差成為研究的熱門問題。

因此，希望能夠提供一種能夠解決上述問題的自然語言深度學習系統和方法。

發明內容

在下文中給出關于本發明的簡要概述，以便提供關于本發明的某些方面的基本理解。應當理解，這個概述并不是關于本發明的窮舉性概述。它并不是意圖確定本發明的關鍵或重要部分，也不是意圖限定本發明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

本發明的一個主要目的在于，提供了一種自然語言深度學習系統，包括：誤差計算單元，其被配置成在對自然語言深度學習系統進行訓練時，根據基于樣本對的損失函數來計算樣本的誤差值，損失函數為相似度損失函數與類別損失函數的組合，其中，相似度損失函數基于如下準則來定義：當樣本對的真實類別相同時，其類別預測向量值之間的差別應當較小，而當樣本對的真實類別不同時，其類別預測向量值之間的差別應當較大，類別損失函數基于樣本對的類別誤差來定義。

根據本發明的一個方面，提供一種自然語言深度學習方法，包括：在對自然語言深度學習系統進行訓練時，根據基于樣本對的損失函數來計算樣本的誤差值，損失函數為相似度損失函數與類別損失函數的組合，其中，相似度損失函數基于如下準則來定義：當樣本對的真實類別相同時，其類別預測向量值之間的差別應當較小，而當樣本對的真實類別不同時，其類別預測向量值之間的差別應當較大，類別損失函數基于樣本對的類別誤差來定義。

另外，本發明的實施例還提供了用于實現上述方法的計算機程序。

此外，本發明的實施例還提供了至少計算機可讀介質形式的計算機程序產品，其上記錄有用于實現上述方法的計算機程序代碼。

通過以下結合附圖對本發明的最佳實施例的詳細說明，本發明的這些以及其他優點將更加明顯。

附圖說明