[發明專利]矩陣求和運算的分布式物理處理

在審

• 申請號: 202010781703.8
• 申請日: 2020-08-06
• 公開（公告）號: CN112346852A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 馬丁·沙茨;阿敏·費魯沙希安
• 申請（專利權）人: 臉譜公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/16
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

本申請涉及矩陣求和運算的分布式物理處理。接收執行矩陣的指定部分的一個或更多個逐元素求和的運算的規范。分析運算的規范以選擇要應用的處理負載劃分的類型。基于所選擇的要應用的處理負載劃分的類型，對在多個物理處理元件上并行執行該運算所需的處理進行劃分。經劃分的處理被分配給物理硬件處理元件，以并行執行矩陣的指定部分的逐元素求和。

發明背景

矩陣運算是科學和工程計算中使用的許多數值算法的核心組成部分。例如，沿著一個或更多個維度對矩陣中的元素求和是人工智能計算(例如推理)的一個重要部分。矩陣運算通常是計算密集型的，需要大量的計算機存儲器、處理器和數據傳輸資源。許多運算都與繁重的計算和數據移動組件相關聯。需要硬件和技術來減少矩陣運算的計算負擔。

附圖簡述

在以下的詳細描述和附圖中公開了本發明的各種實施例。

圖1A和圖1B示出了對矩陣的指定部分執行逐元素求和(element-wise sum)的示例。

圖2是示出用于分配矩陣求和運算的物理處理的系統的實施例的框圖。

圖3A示出了處理元件(processing element)的示例網格(mesh)。

圖3B示出了包括主處理元件的處理元件的示例網格。

圖4是示出用于分配矩陣求和運算的物理處理的過程的實施例的流程圖。

圖5是示出基于計算度量的分析來對執行矩陣求和運算所需的處理進行劃分的過程的實施例的流程圖。

圖6是示出通過將處理元件的網格的指定部分分配給與長度向量(lengthsvector)中的條目相關聯的每組索引來對處理進行劃分的過程的實施例的流程圖。

圖7是示出通過將所有輸出元素(output element)分配給每個處理元件來對處理進行劃分的過程的實施例的流程圖。

詳細描述

本發明可以以多種方式實現，包括作為過程；裝置；系統；物質的組成；體現在計算機可讀存儲介質上的計算機程序產品；和/或處理器，例如被配置為執行存儲在耦合到處理器的存儲器上和/或由該存儲器提供的指令的處理器。在本說明書中，這些實現或者本發明可以采取的任何其他形式可以被稱為技術。通常，在本發明的范圍內，可以改變所公開的過程的步驟順序。除非另有說明，否則被描述為被配置為執行任務的諸如處理器或存儲器的組件可以被實現為在給定時間被臨時配置為執行任務的通用組件或者被制造為執行任務的特定組件。如本文所使用的，術語“處理器”指的是被配置成處理數據(例如計算機程序指令)的一個或更多個設備、電路和/或處理核心。

下面提供了本發明的一個或更多個實施例的詳細描述連同說明本發明原理的附圖。結合這些實施例描述了本發明，但是本發明不限于任何實施例。本發明的范圍僅由權利要求限定，并且本發明包括許多替代、修改和等同物。為了提供對本發明的全面理解，在以下描述中闡述了許多具體細節。這些細節是出于示例的目的而提供的，并且本發明可以根據權利要求來被實施，而不需要這些具體細節中的一些或全部。為了清楚起見，沒有詳細描述與本發明相關的技術領域中已知的技術材料，以便不會不必要地模糊本發明。

公開了分配矩陣求和運算的物理處理。在一些實施例中，接收執行矩陣的指定部分的逐元素求和的運算的規范(specification)。分析運算的規范以選擇要應用的處理負載劃分(processing load partitioning)的類型。基于所選擇的要應用的處理負載劃分的類型，對在多個物理處理元件上并行執行運算所需的處理進行劃分。經劃分的處理被分配給物理處理元件，以并行執行矩陣的指定部分的逐元素求和。所公開技術的實際益處和技術益處包括減少矩陣運算的延遲、降低功耗以及潛在地有更多的計算資源分配給其他工作負載(workload)。