[發明專利]具有深度學習特征的指數建模在審
申請號: | 201911036166.8 | 申請日: | 2019-10-29 |
公開(公告)號: | CN110796190A | 公開(公告)日: | 2020-02-14 |
發明(設計)人: | M.溫特勞布;A.T.蘇雷什;E.瓦里亞尼 | 申請(專利權)人: | 谷歌有限責任公司 |
主分類號: | G06K9/62 | 分類號: | G06K9/62;G06N3/04;G06N3/08;G06N20/00 |
代理公司: | 11105 北京市柳沈律師事務所 | 代理人: | 金玉潔 |
地址: | 美國加利*** | 國省代碼: | 美國;US |
權利要求書: | 查看更多 | 說明書: | 查看更多 |
摘要: | |||
搜索關鍵詞: | 映射 輸出結構 機器學習模型 特征發現功能 最大熵模型 機器學習 結構性質 精度損失 協同組合 壓縮機器 指數模型 資源受限 壓縮 嵌入 場景 輸出 分類 網絡 開發 學習 | ||
本公開的各方面使得人為指定的關系能夠有助于實現映射,該映射使得能夠壓縮機器學習模型的輸出結構。諸如最大熵模型的指數模型可以利用機器學習嵌入和映射來產生分類輸出。以這種方式,可以將機器學習模型(例如,深度網絡)的特征發現功能與基于人類對待解決問題的結構性質的理解而開發的關系進行協同組合,從而使得能夠壓縮模型輸出結構,而沒有明顯的精度損失。這些壓縮模型提高了“設備上”或其他資源受限場景的適用性。
優先權要求
本申請要求于2018年10月29日提交的標題為“Exponential Modeling with DeepLearning Features”的美國專利申請序列號62/752,128的優先權,其全部公開內容通過引用合并于此。
技術領域
本公開總體上涉及機器學習。更具體地,本公開涉及機器學習模型,包括利用輸出類別和嵌入參數之間的映射以提供壓縮增益的指數模型(例如,最大熵模型)。
背景技術
各種形式的機器學習模型已經徹底改變了機器智能的許多領域。作為一個早期的示例,在過去的某個時刻,最大熵模型在自然語言處理和其他技術領域提供了最先進的性能。最大熵模型遵循以下原則:模型應根據給定信息提供盡可能少的偏差估計;也就是說,對于丟失信息最大程度地不置可否。然而,最近,人工神經網絡(“神經網絡”)已為包括自然語言處理在內的許多問題領域提供了最先進的解決方案。取代最大熵建模作為學習算法的一個主要原因是最大熵模型要使用的特征是手工的,而不是自動學習的。
神經網絡是一類機器學習模型,特別強大、準確或高效執行各種任務。神經網絡可以包括一組連接節點,也可以被稱為(人工)神經元或感知器。神經網絡可以被組織成一層或多層。神經網絡的節點可以與邊連接,并且權重可以與每個邊相關聯。
包含多層的神經網絡可以被稱為“深度”網絡。深度網絡可以包括輸入層、輸出層以及位于輸入層和輸出層之間的一個或多個隱藏層。神經網絡的節點可以完全連接或不完全連接。示例神經網絡包括前饋神經網絡、遞歸神經網絡、卷積神經網絡、其他形式的人工神經網絡或其組合。
如今,無數的應用都使用了各種機器學習模型,諸如神經網絡。然而,它們的準確性部分源于具有大量參數,這些參數會導致較高的計算和內存開銷。作為一個示例,典型的神經網絡可能包括大量的權重(例如,一萬到一千萬到一億),這些權重都可以具有唯一的值。存儲和運行神經網絡通常需要存儲這些值中的每一個,并且使用這些值中的每一個執行數學運算,這需要大量的存儲器和處理器使用。
在使用機器學習模型作為分類器將輸入分類為大量不同的可能類別的情況下,此問題會更加嚴重。特別地,用作分類器的機器學習模型通常將具有輸出層(例如,softmax層)或其他輸出結構,為每個可用類別提供相應輸出值,對于特定任務,這可能是非常大的數量。作為一個示例,用于執行“下一個單詞預測”或其他自然語言處理任務的神經網絡通常會具有輸出層,其包括的節點數量等于在與分類器相關的詞匯表中包括的單詞數量,在某些情況下可能包括大約一百萬個單詞。由于手機上當前不適合使用較大的詞匯量,因此手機上的當前應用將詞匯量減少到數萬個單詞。駐留在云中的服務器上的模型在應用的詞匯表中可能有數百萬個單詞。因此,在這些情況下,超大比例的網絡參數可以位于網絡和相關結構的輸出層中。
此外,隨著網絡和硬件變得更好和更快,許多計算都轉移到了“設備上”范式,其中機器學習模型在嵌入式設備、用戶設備、邊緣設備或其他形式的“資源受限”設備上被本地存儲和實現,從而提供了更快的響應時間以及更好的安全性和隱私保證。特別是,如果可以在移動設備和其他資源受限的設備(諸如智能設備或嵌入式設備)上存儲和運行這些網絡(并因此獲得其準確性益處),將是有益的。然而,由于存儲和運行網絡需要大量計算資源(諸如處理資源和存儲器資源),它們在資源受限環境/設備中的使用受到一定程度的限制。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于谷歌有限責任公司,未經谷歌有限責任公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201911036166.8/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:二維空間點的聚類方法
- 下一篇:軌跡分類方法及裝置