[發明專利]具有深度學習特征的指數建模

在審

• 申請號: 201911036166.8
• 申請日: 2019-10-29
• 公開（公告）號: CN110796190A
• 公開（公告）日: 2020-02-14
• 發明（設計）人: M.溫特勞布;A.T.蘇雷什;E.瓦里亞尼
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 11105 北京市柳沈律師事務所
• 代理人: 金玉潔

1.一種計算機系統，包括：

一個或多個處理器；以及

一個或多個非暫時性計算機可讀介質，共同存儲機器學習分類模型，所述機器學習分類模型被配置為基于輸入數據集合生成分類輸出，所述分類輸出包括分別用于多個離散類別的多個分類分數，每個離散類別的分類分數指示輸入數據對應于離散類別的可能性；

其中，機器學習分類模型包括嵌入模型和指數模型；

其中，嵌入模型被配置為接收輸入數據集合并基于輸入數據集合產生嵌入，其中，所述嵌入包括分別用于在嵌入模型的最終層中包括的多個參數的多個參數值，其中，參數值的數量小于離散類別的數量；以及

其中，指數模型被配置為接收嵌入并應用映射以生成分類輸出，其中，映射描述在嵌入模型的最終層中包括的多個參數與多個離散類別之間的多個關系。

2.根據權利要求1所述的計算機系統，其中，指數模型包括最大熵模型。

3.根據權利要求1所述的計算機系統，其中，多個關系為多個離散類別中的每一個指定這種離散類別被映射到的多個參數中的一個或多個。

4.根據權利要求1所述的計算機系統，其中，對于多個離散類別中的每一個，指數模型至少部分地基于提高到這種離散類別通過映射被映射到的參數值的第一和的冪的第一指數除以所有可能輸出值之和來確定其相應分類分數。

5.根據權利要求1所述的計算機系統，其中，至少一個離散類別被映射到在嵌入模型的最終層中包括的兩個或更多個參數。

6.根據權利要求1所述的計算機系統，其中，在嵌入模型的最終層中包括的至少一個參數被映射到兩個或更多個離散類別。

7.根據權利要求1所述的計算機系統，其中，通過映射描述的多個關系中的至少一個是用戶特定的。

8.根據權利要求1所述的計算機系統，其中，確定性地分配通過映射描述的多個關系中的至少一個。

9.根據權利要求1所述的計算機系統，其中，多個關系中的至少一個是機器學習的。

10.根據權利要求1所述的計算機系統，其中，多個離散類別包括在詞匯表中包括的多個離散單詞。

11.根據權利要求10所述的計算機系統，其中，通過映射描述的多個關系中的至少一個基于在每個離散單詞中一個或多個特定字符的存在。

12.根據權利要求10所述的計算機系統，其中，通過映射描述的多個關系中的至少一個基于在每個離散單詞中兩個或更多個字符的特定串的存在。

13.根據權利要求1所述的計算機系統，其中，多個離散類別包括可用于推薦系統選擇的多個離散項。

14.根據權利要求1所述的計算機系統，其中，通過映射描述的多個關系中的至少一個基于多個離散類別的子集之間的共享特性。

15.根據權利要求1所述的計算機系統，其中，嵌入模型包括位于嵌入模型的最終層之前的一個或多個附加層，使得嵌入模型的最終層不直接接收輸入數據集合。

16.根據權利要求1所述的計算機系統，其中，嵌入模型的最終層直接接收輸入數據集合，使得最終層是嵌入模型的唯一層。

17.根據權利要求1所述的計算機系統，其中，嵌入模型的最后一層的多個參數是用戶特定的超參數。

18.根據權利要求1所述的計算機系統，其中，已經使用監督學習技術在標記的訓練數據集合上訓練了機器學習分類模型，其中，監督學習技術包括根據映射通過多個參數反向傳播損失函數的梯度。