[發明專利]上下文感知機器語言識別

有效

• 申請號: 202111302817.0
• 申請日: 2021-11-05
• 公開（公告）號: CN114462415B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 王帆;曹立;王銳;高磊
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/58
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 吳信剛

本公開涉及上下文感知機器語言識別。一種機器翻譯系統、ChatOps系統、用于上下文感知語言機器識別的方法和計算機程序產品。機器翻譯系統的一個實施例可包括密度計算器。密度計算器可以適于計算輸入文本中的多個詞元的詞性(POS)密度，計算所述多個詞元的知識密度，以及使用POS密度和知識密度來計算所述多個詞元的信息密度。在一些實施例中，機器翻譯系統還可以包括義素附加器和上下文翻譯器。

技術領域

本公開涉及自然語言處理，更具體地，涉及用于會話系統的自然語言處理。

背景技術

1948年的EDVAC系統的開發經常被引用為計算機時代的開始。自那時起，計算機系統已經發展成極其復雜的設備。今天的計算機系統通常包括復雜的硬件和軟件組件、應用程序、操作系統、處理器、總線、存儲器、輸入/輸出設備等的組合。由于半導體工藝和計算機架構的進步將性能推向越來越高，甚至更先進的計算機軟件已經發展成利用這些能力的更高性能，從而導致今天的計算機系統比僅僅幾年前強大得多。

自然語言處理是這些改進的能力的一種眾所周知的應用。今天，許多用戶遇到向本地和互聯網內容提供自然語言接口的應用，諸如虛擬代理和聊天機器人。這些應用可采用對話提示來與最終用戶交互以實現面向目標的任務，諸如在線交易。

雖然這樣的應用提供巨大的潛在價值，但是由于應用的自然語言理解的缺陷以及難以針對每個潛在用戶期望生成接口，它們受限于它們提供的信息和幫助的類型。因此，這些系統通常將對話提示限制為對用戶請求的直接和靜態響應，并且通常無法提供關于為什么產生系統響應的適當上下文或解釋。此外，除非系統設計者預期，否則聊天機器人將常常缺乏致力于終端用戶反饋內的特定項目的能力。

Wang等人(2017)描述了一種用于利用神經機器翻譯的跨句子上下文的方法。它提出了跨句子、上下文感知的方法并且調查了歷史上下文信息對神經機器翻譯(NMT)的性能的影響。首先，以分層方式總結該歷史。然后，它將歷史表示以兩種策略整合到NMT中：1)編碼器和解碼器狀態的熱啟動，以及2)用于更新解碼器狀態的輔助上下文源。

發明內容

根據本公開的實施例，一種機器翻譯系統包括密度計算器。密度計算器可以適于計算輸入文本中的多個詞元(word token)的詞性(POS)密度，計算所述多個詞元的知識密度，以及使用POS密度和知識密度計算所述多個詞元的信息密度。在一些實施例中，密度計算器可以進一步適于將輸入文本詞元化成多個詞元，通過POS對知識密度進行分級，并且返回所述多個詞元的詞信息密度。在一些實施例中，系統還可以包括義素(sememe)附加器，其適于使用其相應的POS密度和知識密度來為所述多個詞元中的一個或多個詞元生成一個或多個相應的義素，并且將該一個或多個相應的義素附加到所述一個或多個詞元。在一些實施例中，機器翻譯系統可以進一步包括上下文翻譯器，其適于通過停止詞將輸入文本劃分成多個更小的塊，所述多個更小的塊包括具有附加至其的一個或多個對應義素的一個或多個詞元，使用所述一個或多個對應的義素來為所述更小的塊中的一個或多個更小的塊生成語義上下文，以及使用所述語義上下文來翻譯所述輸入文本。