[發(fā)明專利]用于基于四元數(shù)的機器學習系統(tǒng)的基于梯度的訓練引擎在審
| 申請?zhí)枺?/td> | 201880028671.5 | 申請日： | 2018-05-31 |
| 公開（公告）號： | CN110574050A | 公開（公告）日： | 2019-12-13 |
| 發(fā)明（設(shè)計）人： | M·L·馬丁內(nèi)茲-卡納萊斯;S·K·辛格;V·沙爾瑪;M·K·布漢達魯 | 申請（專利權(quán)）人： | 英特爾公司 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04;G06N3/08 |
| 代理公司： | 31100 上海專利商標事務(wù)所有限公司 | 代理人： | 黃嵩泉;何焜 |
| 地址： | 美國加利*** | 國省代碼： | 美國;US |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 四元數(shù) 隱藏層 多個變量 損失函數(shù) 輸入層 共軛 計算損失函數(shù) 參數(shù)執(zhí)行 反向傳播 路徑布置 前向操作 前向傳播 前向路徑 神經(jīng)網(wǎng)絡(luò) 數(shù)值信號 訓練操作 訓練數(shù)據(jù) 預(yù)期結(jié)果 偏導(dǎo)數(shù) 輸出層 正交基 引擎 輸出 | ||
1.一種用于操作深度神經(jīng)網(wǎng)絡(luò)(DNN)的方法，所述方法包括：
提供輸入層、輸出層和多個隱藏層，所述多個隱藏層沿所述輸入層與所述輸出層之間的前向傳播路徑布置；
其中所述輸入層用于接受包括四元數(shù)值的訓練數(shù)據(jù)，并且用于沿所述前向傳播路徑將四元數(shù)值信號輸出到所述多個隱藏層中的至少一個隱藏層；
其中所述隱藏層中的至少一些隱藏層包括四元數(shù)層，所述四元數(shù)層用于基于一個或多個變量參數(shù)來執(zhí)行一致的四元數(shù)(QT)前向操作，以沿所述前向傳播路徑產(chǎn)生對應(yīng)的至少一個特征圖輸出；
其中所述輸出層用于產(chǎn)生基于所述QT前向操作的DNN結(jié)果；
提供損失函數(shù)引擎以產(chǎn)生損失函數(shù)，所述損失函數(shù)表示所述DNN結(jié)果與預(yù)期結(jié)果之間的誤差；
執(zhí)行基于QT反向傳播的訓練操作，所述基于QT反向傳播的訓練操作包括：
計算所述損失函數(shù)相對于所述一個或多個變量參數(shù)的QT共軛以及所述四元數(shù)層的各個輸入的QT共軛的與四元數(shù)空間的正交基一致的逐層QT偏導(dǎo)數(shù)，所述QT偏導(dǎo)數(shù)是依次通過所述多個隱藏層、沿與所述前向傳播路徑相反的后向傳播路徑而取得的；以及
基于所述QT偏導(dǎo)數(shù)來更新所述變量參數(shù)以減少歸因于每個相應(yīng)的隱藏層的誤差。
2.如權(quán)利要求1所述的方法，其特征在于，所述逐層QT偏導(dǎo)數(shù)的計算產(chǎn)生所述損失函數(shù)相對于所述隱藏層的所有變量參數(shù)的QT梯度。
3.如權(quán)利要求1所述的方法，其特征在于，所述QT前向操作包括在第一層處的QT卷積操作，并且其中，所述一個或多個變量參數(shù)包括四元數(shù)值偏置參數(shù)；并且
其中，計算所述逐層QT偏導(dǎo)數(shù)包括：計算所述損失函數(shù)相對于所述偏置參數(shù)的QT共軛的偏導(dǎo)數(shù)。
4.如權(quán)利要求3所述的方法，其特征在于，基于所述損失函數(shù)相對于所述QT卷積操作的輸出的QT共軛的偏導(dǎo)數(shù)的計算來實現(xiàn)所述損失函數(shù)相對于所述偏置參數(shù)的QT共軛的偏導(dǎo)數(shù)的計算。
5.如權(quán)利要求3所述的方法，其特征在于，所述訓練數(shù)據(jù)包括具有像素索引x和y的圖像，并且其中，基于所述損失函數(shù)相對于在所述第一層處的所述QT卷積操作的輸出的QT偏導(dǎo)數(shù)的、對所述像素索引x和y的QT求和來計算所述損失函數(shù)相對于所述偏置參數(shù)的QT共軛的偏導(dǎo)數(shù)。
6.如權(quán)利要求1所述的方法，其特征在于，所述QT前向操作包括在第一層處的QT卷積操作，并且其中，所述一個或多個變量參數(shù)包括四元數(shù)值權(quán)重參數(shù)；并且
其中，計算逐層QT偏導(dǎo)數(shù)包括：計算所述損失函數(shù)相對于所述權(quán)重參數(shù)的QT共軛的偏導(dǎo)數(shù)。
7.如權(quán)利要求6所述的方法，其特征在于，基于所述損失函數(shù)相對于所述QT卷積操作的輸出的QT共軛的偏導(dǎo)數(shù)的計算來實現(xiàn)計算所述損失函數(shù)相對于所述權(quán)重參數(shù)的QT共軛的偏導(dǎo)數(shù)。
8.如權(quán)利要求6所述的方法，其特征在于，所述訓練數(shù)據(jù)包括具有像素索引x和y的圖像，并且其中，基于所述損失函數(shù)相對于在所述第一層處的所述QT卷積操作的輸出的QT偏導(dǎo)數(shù)的、對所述像素索引x和y的QT求和來計算所述損失函數(shù)相對于所述權(quán)重參數(shù)的QT共軛的偏導(dǎo)數(shù)。
9.如權(quán)利要求1所述的方法，其特征在于，所述QT前向操作包括在第一層處的QT卷積操作，其中，所述QT卷積操作接受來自先前層的第一四元數(shù)值特征圖作為輸入；并且
其中，計算逐層QT偏導(dǎo)數(shù)包括：計算所述損失函數(shù)相對于所述第一四元數(shù)值特征圖的QT共軛的偏導(dǎo)數(shù)。
10.如權(quán)利要求9所述的方法，其特征在于，基于所述損失函數(shù)相對于所述QT卷積操作的輸出的QT共軛的偏導(dǎo)數(shù)的計算來實現(xiàn)計算所述損失函數(shù)相對于所述第一四元數(shù)值特征圖的QT共軛的偏導(dǎo)數(shù)。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于英特爾公司，未經(jīng)英特爾公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201880028671.5/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
