[發明專利]用于基于內核的機器學習的結構化正交隨機特征

在審

• 申請號: 201780072443.3
• 申請日: 2017-10-26
• 公開（公告）號: CN109997131A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: D.霍爾特曼-賴斯;S.庫馬;X.余;K.M.喬羅曼斯基;A.T.蘇雷什
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06K9/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗

為使用內核對數據執行分類操作的基于內核的機器學習系統生成輸入的技術涉及：根據稱為結構化正交隨機特征(SORF)的新框架生成針對高斯內核的無偏估計器。內核的無偏估計器K_SORF涉及使用矩陣對集合的乘積計算的線性變換矩陣W_SORF，每對矩陣包括正交矩陣和相應對角矩陣，其元素是遵循指定的概率分布的實數。通常，正交矩陣是Walsh?Hadamard矩陣，指定的概率分布是Rademacher分布，并且至少有兩對，通常是三對矩陣相乘，以形成線性變換矩陣W_SORF。

相關申請的交叉引用

本申請是于2017年10月25日提交的美國專利申請第15/793,455號的延續并要求其優先權，該美國專利申請要求于2016年10月26日提交的美國臨時申請第62/413,011號的權益，其公開內容通過引用整體并入本文。

本申請要求于2016年10月26日提交的美國專利申請第62/413,011號的權益，其公開內容通過引用整體并入本文。

背景技術

許多系統使用大規模機器學習來完成諸如語音識別、計算機視覺、圖像和聲音文件搜索和分類等的挑戰性問題。多層神經網絡的深度學習是一種有效的大規模方法。例如高斯和多項式內核的內核方法也已用于較小規模的問題，但縮放(scaling)內核方法已證明具有挑戰性。

發明內容

實現提供了一種對于高斯內核的緊湊、快速且準確的內核近似方法。這些實現根據稱為結構化正交隨機特征(SORF)的新框架生成針對高斯內核的無偏估計器。內核的無偏估計器K_SORF涉及使用矩陣對集合的乘積計算的線性變換矩陣W_SORF，每對矩陣包括正交矩陣和相應對角矩陣，其元素是遵循指定概率分布的實數。通常，正交矩陣是Walsh-Hadamard矩陣，指定的概率分布是Rademacher分布，并且至少有兩對，通常是三對矩陣相乘，以形成線性變換矩陣W_SORF。

根據一個方面，一種為基于內核的機器學習系統生成輸入的方法，所述基于內核的機器學習系統使用內核對數據執行分類操作，所述方法可以包括：由基于內核的機器學習系統的處理電路生成對角矩陣集合，所述對角矩陣集合中的每一個具有零的非對角元素和具有根據指定的概率分布函數分布的值的對角元素。所述方法還可以包括：由處理電路產生正交矩陣集合，所述正交矩陣集合中的每一個具有相互正交的行。所述方法還可以包括：對于對角矩陣集合中的每一個，由處理電路形成矩陣對集合，所述矩陣對集合中的每一個包括(i)該對角矩陣，以及(ii)所述正交矩陣集合中的相應正交矩陣。所述方法還可以包括：由處理電路生成所述矩陣對集合中的每一個的乘積以產生線性變換矩陣，所述線性變換矩陣是由基于內核的機器學習系統使用的內核的無偏估計器。

在附圖和以下描述中闡述了一個或多個實現的細節。根據說明書和附圖以及權利要求，其他特征將是顯而易見的。

附圖說明

圖1圖示了按照所公開的主題的示例電子環境。

圖2圖示了用于為基于內核的機器學習系統生成輸入的示例處理的流程圖，該基于內核的機器學習系統使用內核來對數據執行分類操作。

圖3A圖示示出了所公開的主題的益處的、對變化維度的高斯內核的各種近似的均方誤差(MSE)的示例曲線。

圖3B圖示示出了所公開的主題的額外益處的、對變化維度的高斯內核的各種近似的均方誤差(MSE)的額外示例曲線。

圖4是示出了所公開的主題的額外益處的各種示例內核的各種近似的表。

圖5是按照所公開的主題的用于將結構化正交隨機特征與分類引擎一起使用的示例處理的流程圖。

圖6示出了可用于實現所描述的技術的計算機設備的示例。