[發明專利]矩陣的空間局部變換

在審

• 申請號: 201980074328.9
• 申請日: 2019-11-19
• 公開（公告）號: CN113039541A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 喬納森·亞歷山大·羅斯;托馬斯·霍金斯;格雷戈里·邁克爾·索爾森;馬特·博伊德
• 申請（專利權）人: 格羅克公司
• 主分類號: G06F17/15
• 分類號: G06F17/15
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 唐京橋;何方

一種方法，包括：訪問展平的輸入流，該展平的輸入流包括表示要與核進行卷積的輸入張量的核尺寸大小的圖塊的一組輸入值的一組平行向量。接收通過排列核的值而生成的擴展核。接收控制模式，該控制模式包括一組向量，每個向量對應于輸出的核尺寸大小的圖塊的輸出值位置，并指示用于訪問輸入值的展平的輸入流的向量。該方法還包括：對于輸出的每個核尺寸大小的圖塊的每個輸出位置，生成第一向量與第二向量之間的點積，第一向量包括通過控制模式選擇的展平的輸入流的值，并且第二向量對應于擴展核中的與輸出位置對應的向量。

技術領域

本公開內容總體上涉及矩陣計算，并且具體地涉及矩陣的空間局部變換。

背景技術

現代神經網絡包括多個層。每一層可以包括大量的輸入值，這些輸入值隨后被變換以生成輸出(即，激活)，輸出用作后續層的輸入。通常，這些輸入值和輸出值被表示為矩陣(例如，具有一維至多維的值的陣列)。對這些輸入值執行的常見變換是卷積。卷積將核應用于輸入中的相鄰值以生成輸出值，核包括權重值并且還可以被表示為矩陣。對輸入中的所有值重復該操作(如通過權重進行修改)，以生成一組輸出值。然而，由于核因必須多次讀入相鄰值而將多次跨過或滑過相同的輸入值以生成多個輸出，因此使用樸素的方法執行時在計算上會非常昂貴。

因此，期望如下系統，其能夠更有效地計算通過核的權重修改的輸入值的卷積以生成輸出值。

附圖說明

圖1示出了根據一個實施方式的用于通過核的空間局部變換(SLT)對輸入張量進行卷積以生成輸出激活的系統100。

圖2是根據一個實施方式的通過核對二維輸入進行卷積的示例。

圖3是示出根據一個實施方式的展平輸入張量的方法的流程圖。

圖4示出了根據一個實施方式的在一維核的情況下展平輸入張量的示例。

圖5A示出了根據一個實施方式的在二維核的情況下展平輸入張量的示例的第一部分。

圖5B示出了根據一個實施方式的在二維核的情況下展平輸入張量的示例的第二部分。

圖5C示出了根據一個實施方式的對于多個輸入通道展平輸入張量的示例。

圖6A示出了根據一個實施方式的在三維核的情況下展平輸入張量的示例的第一部分。

圖6B示出了根據一個實施方式的在三維核的情況下展平輸入張量的示例的第二部分。

圖7是示出根據一個實施方式的生成擴展核的方法的流程圖。

圖8示出了根據一個實施方式的在一維核的情況下生成擴展核的示例。

圖9A示出了根據一個實施方式的對于不同的二維核生成擴展核的示例。

圖9B示出了根據一個實施方式的使用列優先(column-major)擴展來生成擴展核的示例。

圖9C示出了根據一個實施方式的在多個核過濾器的情況下生成擴展核的示例。

圖10A示出了根據一個實施方式的在三維核的情況下生成擴展核的示例的第一部分。

圖10B示出了根據一個實施方式的在三維核的情況下生成擴展核的示例的第二部分。

圖10C示出了根據一個實施方式的在三維核的情況下生成擴展核的示例的第三部分。

圖11是示出根據一個實施方式的生成控制模式的方法的流程圖。

圖12A示出了根據一個實施方式的用于生成控制模式的概念基礎的示例的第一部分。

圖12B示出了根據一個實施方式的用于生成控制模式的概念基礎的示例的第二部分。