日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]具有深度學習特征的指數建模在審

專利信息
申請號: 201911036166.8 申請日: 2019-10-29
公開(公告)號: CN110796190A 公開(公告)日: 2020-02-14
發明(設計)人: M.溫特勞布;A.T.蘇雷什;E.瓦里亞尼 申請(專利權)人: 谷歌有限責任公司
主分類號: G06K9/62 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/00
代理公司: 11105 北京市柳沈律師事務所 代理人: 金玉潔
地址: 美國加利*** 國省代碼: 美國;US
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 映射 輸出結構 機器學習模型 特征發現功能 最大熵模型 機器學習 結構性質 精度損失 協同組合 壓縮機器 指數模型 資源受限 壓縮 嵌入 場景 輸出 分類 網絡 開發 學習
【說明書】:

本公開的各方面使得人為指定的關系能夠有助于實現映射,該映射使得能夠壓縮機器學習模型的輸出結構。諸如最大熵模型的指數模型可以利用機器學習嵌入和映射來產生分類輸出。以這種方式,可以將機器學習模型(例如,深度網絡)的特征發現功能與基于人類對待解決問題的結構性質的理解而開發的關系進行協同組合,從而使得能夠壓縮模型輸出結構,而沒有明顯的精度損失。這些壓縮模型提高了“設備上”或其他資源受限場景的適用性。

優先權要求

本申請要求于2018年10月29日提交的標題為“Exponential Modeling with DeepLearning Features”的美國專利申請序列號62/752,128的優先權,其全部公開內容通過引用合并于此。

技術領域

本公開總體上涉及機器學習。更具體地,本公開涉及機器學習模型,包括利用輸出類別和嵌入參數之間的映射以提供壓縮增益的指數模型(例如,最大熵模型)。

背景技術

各種形式的機器學習模型已經徹底改變了機器智能的許多領域。作為一個早期的示例,在過去的某個時刻,最大熵模型在自然語言處理和其他技術領域提供了最先進的性能。最大熵模型遵循以下原則:模型應根據給定信息提供盡可能少的偏差估計;也就是說,對于丟失信息最大程度地不置可否。然而,最近,人工神經網絡(“神經網絡”)已為包括自然語言處理在內的許多問題領域提供了最先進的解決方案。取代最大熵建模作為學習算法的一個主要原因是最大熵模型要使用的特征是手工的,而不是自動學習的。

神經網絡是一類機器學習模型,特別強大、準確或高效執行各種任務。神經網絡可以包括一組連接節點,也可以被稱為(人工)神經元或感知器。神經網絡可以被組織成一層或多層。神經網絡的節點可以與邊連接,并且權重可以與每個邊相關聯。

包含多層的神經網絡可以被稱為“深度”網絡。深度網絡可以包括輸入層、輸出層以及位于輸入層和輸出層之間的一個或多個隱藏層。神經網絡的節點可以完全連接或不完全連接。示例神經網絡包括前饋神經網絡、遞歸神經網絡、卷積神經網絡、其他形式的人工神經網絡或其組合。

如今,無數的應用都使用了各種機器學習模型,諸如神經網絡。然而,它們的準確性部分源于具有大量參數,這些參數會導致較高的計算和內存開銷。作為一個示例,典型的神經網絡可能包括大量的權重(例如,一萬到一千萬到一億),這些權重都可以具有唯一的值。存儲和運行神經網絡通常需要存儲這些值中的每一個,并且使用這些值中的每一個執行數學運算,這需要大量的存儲器和處理器使用。

在使用機器學習模型作為分類器將輸入分類為大量不同的可能類別的情況下,此問題會更加嚴重。特別地,用作分類器的機器學習模型通常將具有輸出層(例如,softmax層)或其他輸出結構,為每個可用類別提供相應輸出值,對于特定任務,這可能是非常大的數量。作為一個示例,用于執行“下一個單詞預測”或其他自然語言處理任務的神經網絡通常會具有輸出層,其包括的節點數量等于在與分類器相關的詞匯表中包括的單詞數量,在某些情況下可能包括大約一百萬個單詞。由于手機上當前不適合使用較大的詞匯量,因此手機上的當前應用將詞匯量減少到數萬個單詞。駐留在云中的服務器上的模型在應用的詞匯表中可能有數百萬個單詞。因此,在這些情況下,超大比例的網絡參數可以位于網絡和相關結構的輸出層中。

此外,隨著網絡和硬件變得更好和更快,許多計算都轉移到了“設備上”范式,其中機器學習模型在嵌入式設備、用戶設備、邊緣設備或其他形式的“資源受限”設備上被本地存儲和實現,從而提供了更快的響應時間以及更好的安全性和隱私保證。特別是,如果可以在移動設備和其他資源受限的設備(諸如智能設備或嵌入式設備)上存儲和運行這些網絡(并因此獲得其準確性益處),將是有益的。然而,由于存儲和運行網絡需要大量計算資源(諸如處理資源和存儲器資源),它們在資源受限環境/設備中的使用受到一定程度的限制。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于谷歌有限責任公司,未經谷歌有限責任公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/201911036166.8/2.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 午夜国产一区二区三区四区| 久久午夜精品福利一区二区| 日韩精品免费一区二区夜夜嗨| 91麻豆精品国产91久久久更新资源速度超快| 99久久婷婷国产精品综合| 国产一区二区三区影院| 国产91在| 国产v亚洲v日韩v欧美v片| 狠狠色噜噜狠狠狠狠2018| 欧美日韩国产专区| 午夜影院一区| 国产精品视频久久久久久| 午夜无人区免费网站| 日本福利一区二区| 欧美老肥婆性猛交视频| 午夜诱惑影院| 国产精品国产三级国产专区52| 91精品国产高清一二三四区| 午夜性电影| 91精品一区二区中文字幕| 少妇又紧又色又爽又刺激的视频| 午夜影院激情| 91精品国产高清一二三四区| 亚洲乱强伦| 欧美日韩一区二区三区69堂| 欧美日韩国产一二三| 国产一区日韩欧美| 国产精品电影一区二区三区| 久久夜色精品亚洲噜噜国产mv| 丰满岳乱妇bd在线观看k8| 国产一区二区日韩| 狠狠色丁香久久综合频道 | 国产91清纯白嫩初高中在线观看| 少妇高潮大叫喷水| 99精品国产一区二区三区麻豆 | 在线精品一区二区| 性欧美一区二区三区| 精品国产一区二| 久久久久亚洲| 免费观看又色又爽又刺激的视频| 狠狠色丁香久久婷婷综合_中| 99久久国产综合| 久久国产麻豆| 国产1区2区视频| 久久福利视频网| 九一国产精品| 国产一区二区影院 | 国内偷拍一区| 精品国产二区三区| 亚洲自偷精品视频自拍| 福利视频亚洲一区| 国产日韩一二三区| 亚洲福利视频一区| free性欧美hd另类丰满| 午夜私人影院在线观看| 国产精品一区在线播放| 日本一区二区高清| 免费a级毛片18以上观看精品 | 国产欧美精品久久| 美女被羞羞网站视频软件| 久久久久久国产精品免费| 国产精品免费不卡| 亚洲视频精品一区| 欧美视屏一区| 欧美精品xxxxx| 国产91九色视频| 国产欧美三区| 欧美日韩一区二区三区在线播放 | 中文字幕一区一区三区| 色综合久久88| 岛国黄色网址| 99riav3国产精品视频| 奇米色欧美一区二区三区| 欧美一区二三区| 亚洲欧美日韩国产综合精品二区| 国产精品96久久久久久久| 精品国产免费一区二区三区| 午夜a电影| 97国产婷婷综合在线视频,| 国产日韩欧美三级| 亚洲欧美v国产一区二区| 国产亚洲精品久久yy50|