[發明專利]基于貢獻估計的處理核心操作抑制

在審

• 申請號: 201880040941.4
• 申請日: 2018-05-11
• 公開（公告）號: CN110770696A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: L.巴吉克;M.特拉杰科維克;I.哈默;S.吉拉尼
• 申請（專利權）人: 滕斯托倫特股份有限公司
• 主分類號: G06F7/38
• 分類號: G06F7/38
• 代理公司: 11105 北京市柳沈律師事務所
• 代理人: 胡琪

公開了具有基于對操作的貢獻估計來抑制那些操作的能力以提高核心的整體性能的處理核心。還公開了可以由這樣的處理核心實施的相關方法。一種這樣的方法包括生成用于復合計算的參考值。復合計算的完整執行生成精確的輸出并且需要執行分量計算集合。該方法還包括生成分量計算近似值。該方法還包括利用參考值評估分量計算近似值。該方法還包括使用分量計算近似值執行復合計算的部分執行以產生估計的輸出。該方法還包括基于利用參考值對分量計算近似值的評估，在執行部分執行的同時抑制分量計算。

相關申請的交叉引用

本申請要求于2017年5月12日提交的美國臨時專利申請No.62/505,775和于2018年5月10日提交的美國專利申請No.15/975,930的權益。

背景技術

如果將一張紙對折僅五十次，則所得到的紙疊將與從地球到太陽的距離一樣厚。盡管每次折疊都是將堆疊的厚度增加兩倍的簡單操作，但總任務卻一點也不簡單。同樣，由現代計算系統實施的許多計算都是由多個簡單分量部分組成的復合計算。執行每次分量運算可能微不足道，但是分量的數量可能是天文數字般大，導致復合計算絕非微不足道。事實上，從計算之初就可輕松處理的基本計算可以綜合起來產生對于給定的應用而言相當棘手的復合計算。

機器學習算法領域，特別是人工神經網絡(ANN)領域受到阻礙很大程度上是由于實現用于實例化ANN的傳統算法所包含的計算復雜性。假設執行用于從聲音文件中識別字詞的給定ANN需要進行100億次計算，即使這些分量計算中的每一個都可以在一微秒內執行，執行復合任務仍將花費超過150個小時。以這種速度操作語音識別技術實質上與完全不進行語音識別技術相同。機器智能應用如此耗費資源的原因是，要操作的數據結構通常非常大，并且必須在數據結構中的每一個上執行的離散原始計算的數量同樣是巨大的。傳統的ANN引入輸入矢量，使用輸入矢量和權重矢量的集合實施運算，然后產生輸出矢量。權重矢量的集合中的每個權重矢量常常被稱為網絡的層，并且每一層的輸出用作下一層的輸入。在傳統網絡中，各層是完全連接的，這要求輸入矢量的每個元素都與權重矢量中的每個元素一起參與運算。因此，所包含的運算的數量與每一層的大小呈冪律關系而增加。

最近對機器學習算法的興趣激增最主要歸因于對用來實施用于執行ANN的復合運算的硬件和軟件上的改進，而不是新算法的開發。硬件和軟件上的改進有各種形式。例如，傳統上用來處理用于渲染計算機圖形多邊形的矢量的圖形處理單元已經以有效方式重新利用于操縱機器智能處理中使用的數據元素。作為另一示例，已經從頭開始設計了某些類別的硬件，以通過使用諸如脈動陣列(systolic array)的專用處理元件來實現機器智能算法。進一步的進展集中在使用晶體管和存儲元件的集合直接在硬件中模仿傳統ANN中神經元的行為。毫無疑問，機器智能領域從這些改進中受益匪淺。然而，盡管濃厚興趣被投注于這些方法之上，但是機器智能系統仍然代表著現時代中計算量和能量密集度最高的計算應用之一，并且呈現出有待進一步發展的領域。

發明內容

公開了具有基于對操作的貢獻估計來抑制那些操作的能力以提高核心的整體性能的處理核心。還公開了可以由這樣的處理核心實施的相關方法。一種這樣的方法包括生成用于復合計算的參考值。復合計算的完整執行生成精確的輸出并且需要執行分量計算集合。該方法還包括針對分量計算集合中的分量計算生成分量計算近似值。該方法還包括利用參考值評估分量計算近似值。該方法還包括執行復合計算的部分執行以產生估計的輸出。復合計算的部分執行使用分量計算近似值。該方法還包括基于利用參考值對分量計算近似值的評估，在執行部分執行的同時抑制分量計算。

根據本公開的處理核心可以實施的另一種方法包括將用于復合計算的參考值存儲在存儲器中。復合計算的完整執行生成精確的輸出并且需要執行分量計算集合。該方法還包括針對分量計算集合中的分量計算生成分量計算近似值。該方法還包括利用參考值評估分量計算近似值。該方法還包括執行復合計算的部分執行以產生估計的輸出。復合計算的部分執行使用分量計算近似值。該方法還包括基于利用參考值對分量計算近似值的評估，在執行部分執行的同時抑制分量計算。