[發(fā)明專利]基于先前的簡化圖執(zhí)行的條件性圖執(zhí)行

在審

• 申請(qǐng)?zhí)枺?/td>: 201880032308.0
• 申請(qǐng)日: 2018-04-06
• 公開（公告）號(hào): CN110637306A
• 公開（公告）日: 2019-12-31
• 發(fā)明（設(shè)計(jì)）人: L.巴吉克;M.特拉杰科維奇;I.哈默
• 申請(qǐng)（專利權(quán)）人: 滕斯托倫特股份有限公司
• 主分類號(hào): G06N3/02
• 分類號(hào): G06N3/02
• 代理公司: 11105 北京市柳沈律師事務(wù)所
• 代理人: 萬里晴

本文公開了用于執(zhí)行有向圖的計(jì)算機(jī)實(shí)施的方法和相關(guān)聯(lián)的硬件。一種示例方法包括導(dǎo)出有向圖的簡化版本、將先導(dǎo)輸入張量應(yīng)用于有向圖的簡化版本，以及在將先導(dǎo)輸入張量應(yīng)用于有向圖的簡化版本期間獲得執(zhí)行數(shù)據(jù)的集合。該方法還包括將實(shí)時(shí)輸入張量應(yīng)用于有向圖，并使用執(zhí)行數(shù)據(jù)的集合來?xiàng)l件化有向圖的執(zhí)行。從有向圖的條件性執(zhí)行中獲得輸出張量。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求于2018年4月4日提交的美國專利申請(qǐng)?zhí)?5/945,454和于2017年4月7日提交的美國臨時(shí)專利申請(qǐng)?zhí)?2/483,133的權(quán)益，出于所有目的這兩個(gè)申請(qǐng)通過引用整體結(jié)合于此。

技術(shù)領(lǐng)域

XXX

背景技術(shù)

機(jī)器智能系統(tǒng)性能的最近的激增不是由于革命性新算法的發(fā)展。事實(shí)上，今天機(jī)器智能應(yīng)用中使用的核心算法源于如今有半個(gè)多世紀(jì)歷史的大量工作。相反，正是硬件和軟件方面的改進(jìn)以高效的方式實(shí)施了機(jī)器智能算法，這推動(dòng)了最近的激增。曾經(jīng)在計(jì)算方面過于密集而甚至無法利用最復(fù)雜的計(jì)算機(jī)來實(shí)施的算法現(xiàn)在可以利用單個(gè)用戶的智能手機(jī)上的專用硬件來執(zhí)行。硬件和軟件方面的改進(jìn)采取了各種形式。例如，傳統(tǒng)地處理用于為計(jì)算機(jī)圖形渲染多邊形的向量的圖形處理單元已經(jīng)以高效的方式被重新利用，來操縱機(jī)器智能處理中使用的數(shù)據(jù)元素。作為另一示例，某些類別的硬件已經(jīng)被從頭開始設(shè)計(jì)，以通過使用諸如脈動(dòng)型(systolic)陣列的專門處理元件來實(shí)施機(jī)器智能算法。進(jìn)一步的進(jìn)展集中于使用晶體管和存儲(chǔ)器元件的集合來直接在硬件中模擬傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)(artificialneural network，ANN)中的神經(jīng)元的行為。毫無疑問，機(jī)器智能領(lǐng)域已從這些改進(jìn)中大大受益。然而，盡管對(duì)這些方法有著濃厚的興趣，但機(jī)器智能系統(tǒng)仍然代表當(dāng)今最有計(jì)算力和能量密集的計(jì)算應(yīng)用之一，并且呈現(xiàn)了準(zhǔn)備著進(jìn)一步發(fā)展領(lǐng)域。

機(jī)器智能應(yīng)用如此渴求資源的原因是，對(duì)其進(jìn)行操作的數(shù)據(jù)結(jié)構(gòu)通常非常大，并且必須在數(shù)據(jù)結(jié)構(gòu)中的每一個(gè)上執(zhí)行的離散原語計(jì)算的數(shù)量同樣巨大。傳統(tǒng)的ANN接受輸入向量，使用輸入向量和一組權(quán)重向量進(jìn)行計(jì)算，并產(chǎn)生輸出向量。該組權(quán)重向量中的每個(gè)權(quán)重向量通常被稱為網(wǎng)絡(luò)的層，并且每個(gè)層的輸出用作下一層的輸入。在傳統(tǒng)網(wǎng)絡(luò)中，這些層是完全連接的，這需要在用權(quán)重向量的每個(gè)元素的計(jì)算中涉及輸入向量的每個(gè)元素。因此，所涉及的計(jì)算的數(shù)量隨著與每個(gè)層的大小的冪律(power law)關(guān)系而增加。另外，機(jī)器智能算法的這一方面使得它們難以并行化，因?yàn)獒槍?duì)每一層的計(jì)算依賴于前一層的輸出。

現(xiàn)代ANN進(jìn)一步加劇了前一段提到的問題。現(xiàn)代ANN方法在工業(yè)和文學(xué)作品中通常被稱為“深度學(xué)習(xí)”方法。這通常是指所涉及的大量層、或者一個(gè)層的輸出和其他層的輸入之間的關(guān)系的復(fù)雜性。例如，在現(xiàn)代深度學(xué)習(xí)ANN中，下游層的輸出可以被反饋到前一層，這從而在整體計(jì)算中添加遞歸元素。與層之間的遞歸關(guān)系相關(guān)聯(lián)的附加的復(fù)雜性增加了實(shí)施現(xiàn)代ANN所需的計(jì)算資源。

圖1示出了用于現(xiàn)代機(jī)器智能系統(tǒng)的計(jì)算的有向圖100。有向圖100的輸入是輸入張量X。有向圖100的輸出是輸出張量Y。輸入可以是用于圖片(諸如貓101的圖像)的編碼。在這個(gè)示例中，有向圖100的執(zhí)行涉及圖提供關(guān)于經(jīng)編碼圖像的內(nèi)容包含了什么的文本猜測的編碼。圖輸出可以被稱為由有向圖生成的推理，因?yàn)闄C(jī)器智能系統(tǒng)高效地從圖片的編碼中推理圖片顯示了什么。由此，如果有向圖100表示適當(dāng)訓(xùn)練的機(jī)器智能系統(tǒng)，用輸入張量X執(zhí)行圖100將產(chǎn)生輸出張量Y，該輸出張量Y編碼了如圖所示的單詞“CAT”。