[發明專利]神經網絡數據錄入系統

有效

• 申請號: 201780074004.6
• 申請日: 2017-11-22
• 公開（公告）號: CN110036399B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: D·A·H·歐;J·伊索-西皮萊;M·菲斯凱托;M·J·威爾森;J·奧斯本
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F40/274
• 分類號: G06F40/274;G06F16/31;G06F16/332;G06N3/048;G06N3/047;G06N3/084
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 張揚;王英

描述了一種數據錄入系統，其具有接收由用戶輸入的一個或多個上下文文本項的序列的用戶接口。數據錄入系統具有被訓練用以預測序列中的接下來的項的預測器。預測器包括多個經學習的文本項嵌入，每個文本項嵌入表示數值式形式的文本項，文本項嵌入具有多個不同的長度。投射組件獲得上下文文本項的文本項嵌入并將這些文本項嵌入投射為具有相同的長度。預測器包括經訓練的神經網絡，其被饋送所投射的文本項嵌入并且其計算與經預測的接下來的項相關聯的數值式輸出。

背景技術

諸如將文本字符、表情符號和其它數據輸入到具有小的尺寸的電子設備中的數據錄入對于終端用戶來說是耗時、麻煩且易于出錯的。一種用于助于數據錄入的方法是提供預測鍵盤，例如軟鍵盤，其顯示在電子設備的觸摸屏上并由終端用戶用于鍵入字符、表情符號、符號和其它數據。預測鍵盤通常呈現一個或多個預測的候選的詞或短語作為供用戶進行選擇并從而鍵入電子設備的選項。

用于提供這種預測鍵盤的功能的技術在某些情況下包括神經網絡技術。例如，在神經網絡用于預測用戶可能想要輸入的候選的詞的情況下。然而，神經網絡占用了大量資源(例如存儲器和處理資源)，這使得難以在神經網絡位于資源受限的設備(如智能電話、平板電腦、可穿戴計算機或其它資源受限的設備)的情況下實現良好的執行準確度。

下文描述的實施例不局限于用于解決使用神經網絡技術的已知數據錄入系統的任何或所有缺點的實現方案。

發明內容

下面給出了對本公開內容的簡化的概括以便向讀者提供基本理解。本發明內容并不旨在確定要求保護的發明主題的關鍵特征或重要特征，也不旨在用于限制要求保護的發明主題的范圍。其唯一目的是用簡化的形式呈現對在本文中公開的概念的選擇，作為稍后給出的更詳細說明的前序。

描述了一種數據錄入系統，其具有接收由用戶輸入的一個或多個上下文文本項的序列的用戶接口。所述數據錄入系統具有被訓練用以預測所述序列中的接下來的項的預測器。所述預測器包括多個經學習的文本項嵌入，每個文本項嵌入表示數值式形式的文本項，所述文本項嵌入具有多個不同的長度。投射組件獲得所述上下文文本項的文本項嵌入并將這些所述上下文文本項的文本項投射為具有相同的長度。所述預測器包括：經訓練的神經網絡，其被饋送經投射的文本項嵌入并且計算與經預測的接下來的項相關聯的數值式輸出。

由于通過參找結合附圖考慮的以下具體實施方式，許多附帶特征變得更好理解，因此許多附帶特征將更加容易領會。

附圖說明

根據考慮到附圖閱讀的以下具體實施方式將更好地理解本說明書，在附圖中：

圖1是具有神經網絡數據錄入系統的各種電子設備的示意圖；

圖2是示出了用于數據錄入的用戶接口顯示的智能電話的示意圖；

圖3是神經網絡語言模型的示意圖；

圖4是神經網絡數據錄入系統處的過程的流程圖；

圖5是具有全長度嵌入的文本項嵌入表、具有可變長度嵌入的對應文本項嵌入表以及兩個適配器矩陣的示意圖；

圖6是投射組件處的過程的示意圖；

圖7是評分組件處的過程的示意圖；

圖8A是另一個投射組件處的過程的示意圖；

圖8B是評分組件處的另一個過程的示意圖；

圖9示出了在其中實現神經網絡數據錄入系統的實施例的示例性基于計算的設備。

相同的附圖標記用于表示附圖中相同的部件。

具體實施方式

結合附圖在下文中提供的具體實施方式旨在作為所給出示例的描述，而不是旨在用以表示構造或使用所給出的示例的唯一形式。該描述闡述了示例的功能和用于構造和操作示例的操作的序列。然而，相同的或等效的功能和序列可以由不同的示例來實現。