[發明專利]神經網絡數據錄入系統

有效

• 申請號: 201780074004.6
• 申請日: 2017-11-22
• 公開（公告）號: CN110036399B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: D·A·H·歐;J·伊索-西皮萊;M·菲斯凱托;M·J·威爾森;J·奧斯本
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F40/274
• 分類號: G06F40/274;G06F16/31;G06F16/332;G06N3/048;G06N3/047;G06N3/084
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 張揚;王英

1.一種數據錄入系統，其包括：

用戶接口，其接收由用戶輸入的一個或多個上下文文本項的序列；

預測器，其被訓練用以預測所述序列中的接下來的項；

所述預測器包括多個經學習的文本項嵌入，每個文本項嵌入表示數值式形式的文本項，所述文本項嵌入具有多個不同的長度；

投射組件，其獲得所述上下文文本項的文本項嵌入并將這些文本項嵌入投射為具有相同的長度；

所述預測器包括經訓練的神經網絡，其被饋送所投射的文本項嵌入并且其計算與所預測的接下來的項相關聯的數值式輸出。

2.根據權利要求1所述的數據錄入系統，還包括：評分組件，其接收所述預測器的所述數值式輸出，并參照不同的長度的多個項嵌入中的每個項嵌入來計算所述數值式輸出的多個評分，所述項嵌入是來自詞匯表的文本項。

3.根據權利要求2所述的數據錄入系統，其中，所述評分組件被配置為：計算所述預測器的所述數值式輸出的前綴與具有與所述前綴相同的長度的項嵌入的點積。

4.根據權利要求2所述的數據錄入系統，包括項嵌入的至少一個表，包括由所述評分組件使用的所述詞匯表中的文本項的所述項嵌入、以及所述上下文文本項的所述文本項嵌入。

5.根據權利要求4所述的數據錄入系統，其中，項嵌入的所述至少一個表被存儲在多個分開的陣列中，針對每個項嵌入長度有一個陣列。

6.根據權利要求4所述的數據錄入系統，其中，具有相同的長度的項嵌入被存儲為項嵌入的所述表中的相鄰行。

7.根據權利要求4所述的數據錄入系統，其中，項嵌入的所述至少一個表被存儲為單個陣列，其中，具有相同的長度的項嵌入被存儲為所述陣列的相鄰行，并且其中，關于哪些范圍的行存儲了哪些長度的項嵌入的信息也被存儲。

8.根據權利要求1或2中的任一項所述的數據錄入系統，其中，所述投射組件包括至少兩個神經網絡，一個神經網絡被訓練用以將項嵌入向上投射到預先確定的長度，一個神經網絡被訓練用以將項嵌入從所述預先確定的長度向下投射到比所述預先確定的長度短的長度。

9.根據權利要求8所述的數據錄入系統，其中，所述投射組件包括針對項嵌入的每個長度的兩個神經網絡，所述針對項嵌入的每個長度比項嵌入的所述預先確定的長度短。

10.根據權利要求1或2中的任一項所述的數據錄入系統，其中，所述投射組件通過添加零以增加所述上下文文本項的所述項嵌入中的一些項嵌入的長度來將所述上下文文本項的所述項嵌入投射為相同的長度。

11.根據權利要求1或2中的任一項所述的數據錄入系統，其中，所述投射組件通過乘以經學習的適配器矩陣來投射所述上下文文本項的所述項嵌入。

12.根據權利要求11所述的數據錄入系統，其中，所述投射組件包括多個經學習的適配器矩陣，針對每個小于指定最大值的可能的項嵌入長度有一個經學習的適配器矩陣；并且其中，所述投射組件被配置為：作為所述神經網絡的訓練的一部分，學習所述適配器矩陣，并且其中，所述投射組件被配置為：通過使用所述經學習的適配器矩陣減小所述預測器的所述數值式輸出的長度，來對所述預測器的所述數值式輸出進行向下投射。

13.根據權利要求1或2中的任一項所述的數據錄入系統，其中，所述投射組件被配置為：通過減小所述預測器的所述數值式輸出的長度以匹配由評分組件用以計算所述數值式輸出的評分的詞匯表中的一個或多個文本項嵌入的長度，來對所述預測器的所述數值式輸出進行向下投射。

14.根據權利要求13所述的數據錄入系統，其中，所述向下投射包括：計算所述預測器的所述數值式輸出與適配器矩陣的乘積，然后計算所述乘積的結果與具有與所述適配器矩陣相關聯的長度的項嵌入的點積。

15.一種計算機實現的方法，其包括：

接收由用戶輸入的一個或多個上下文文本項的序列；

在存儲器處存儲多個經學習的文本項嵌入，每個文本項嵌入表示數值式形式的文本項，所述文本項嵌入具有多個不同的長度；

從所述存儲器中檢索所述上下文文本項的文本項嵌入，并將所檢索的文本項嵌入投射為具有相同的長度；以及

將所投射的文本項嵌入輸入到經訓練的神經網絡語言模型，并且計算與所述序列中的經預測的接下來的項相關聯的數值式輸出。