[發明專利]通過數據共享和分配增強人工智能/機器硬件的處理性能

有效

• 申請號: 201880025126.0
• 申請日: 2018-04-16
• 公開（公告）號: CN110546610B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: C·B·麥克布賴德;A·A·安巴德卡;K·D·塞多拉;B·博布羅夫;G·彼得;L·M·瓦爾
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F12/02
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 董莘

具有與一個或多個存儲器組件協作的示例性DNN模塊的示例性人工智能/機器學習硬件計算環境可以執行數據共享和分發以及緩沖器數據的重用，以減少存儲器組件讀/寫的數目，從而增強整體硬件性能并降低功耗。說明性地，根據示例性硬件的所選操作來讀取來自協作存儲器組件的數據，并將其寫入對應的其他存儲器組件以供一個或多個處理元件(例如，神經元)使用。以該方式讀取數據，來優化每個處理周期的一個或多個處理元件的參與，以及重用先前存儲在一個或多個協作存儲器組件中的數據。可操作地，將寫入的數據在被處理元件消費之前復制到陰影存儲器緩沖器。

背景技術

通過示例性人工智能/機器學習硬件環境表達的深度神經網絡(“DNN”)在經過生物神經系統(諸如人腦)中的信息處理和通信模式之后被松散地建模。DNN可以被用來解決復雜的分類問題，諸如但不限于對象檢測、語義標記和特征提取。結果，DNN構成了許多人工智能(“AI”)應用的基礎，諸如計算機視覺、語音識別和機器翻譯。DNN可以在許多上述領域中匹配或超過人類的準確性。

DNN的高性能源于它們在使用大數據集上的統計學習來獲得輸入空間的有效表示之后，從輸入數據中提取高級特征的能力。然而，DNN的優越性能是以高計算復雜性為代價的。高性能通用處理器，諸如圖形處理單元(“GPU”)，通常用于提供許多DNN應用所需的高水平計算性能。

雖然如GPU一類的通用處理器可以為實現DNN提供高水平的計算性能，但是這些類型的處理器通常不適合用于在低功耗至關重要的計算設備中長時間執行DNN操作。例如，諸如GPU一類的通用處理器可能不適合用于在電池供電的便攜式設備中執行長時間運行的DNN任務，如智能電話或替代現實/虛擬現實(“AR/VR”)設備，其中需要降低功耗以延長電池壽命。

在執行連續的DNN任務(諸如檢測人體移動)的同時降低功耗在非電池供電設備中也可以是重要的，例如諸如通過以太網供電(“POE”)安全相機。在該具體示例中，POE交換機只能提供有限量的功率，而如安全相機等POE設備的功率降低可以導致POE交換機的更低的功耗和成本。

已經開發了專用集成電路(“ASIC”)，與通用處理器相比，其可以提供高性能DNN處理，同時降低了功耗。然而，盡管在該領域取得了進步，但仍然需要改進性能并降低執行DNN處理的ASIC的功耗，特別是用于低功耗至關重要的計算設備。

當前的實踐提供了管理存儲器和/或處理的各種機制，以確保請求用于示例性計算環境的共享資源的組件之間的平衡。利用當前的實踐，這種存儲器/處理器管理不足以優化在DNN模塊的協作存儲器元件之間執行的讀/寫操作的數目以及每個可用處理元件(諸如協作DNN芯片的神經元)的總體效用。此外，當前的實踐集中于系統的整體處理/存儲器管理，而不考慮人工智能/機器學習硬件組件的總體功耗和處理性能。

關于這些和其他技術挑戰，本文所公開的內容被呈現。

發明內容

公開了一種表示為DNN模塊的人工智能/機器學習硬件，其可以通過執行優化的數據共享和分發以及跨示例性環境的各種協作存儲器組件的數據重用來增強模塊的處理單元的處理性能，以及通過增強的存儲器管理降低功耗。本文未具體提及的其他技術益處也可以通過所公開的主題內容的實現來實現。

為了實現上文簡要提到的技術益處，說明性地，在具有DNN模塊的示例性計算環境中，可以操作DNN模塊以優化數據共享和分發以及跨一個或多個協作存儲器組件(諸如示例性神經元緩沖器和/或線緩沖器)的數據重用。說明性地，可以測量性能的兩個方面。第一組件(計算)可以根據多個單元來測量，包括但不限于每秒的浮點操作(例如，GFlops/s)和每秒的乘法加法(例如，GMAC/s)。第二組件(數據傳輸)可以通過每秒傳輸的字節數(例如GBytes/s)來測量。為了確保示例性DNN模塊的最高性能，可以優化和平衡計算和數據傳輸速率兩者。這種優化可以導致由本文所描述的示例性人工智能/機器學習硬件實現的整體處理性能的增強和總體降低的功耗。