[發明專利]具有存儲器內運算架構的存儲器及其操作方法

有效

• 申請號: 201910547680.1
• 申請日: 2019-06-24
• 公開（公告）號: CN111047029B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 黃崇仁;葛永年
• 申請（專利權）人: 力晶積成電子制造股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F3/06
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王珊珊

本發明提出一種具有存儲器內運算架構的存儲器及其操作方法。存儲器包括存儲器陣列、模式緩存器、人工智能核心以及存儲器接口。存儲器陣列包括多個存儲器區域。模式緩存器儲存多個存儲器模式設定。存儲器接口耦接存儲器陣列以及模式緩存器，并且外部耦接至特殊功能處理核心。人工智能核心耦接存儲器陣列以及模式緩存器。所述多個存儲器區域依據模式緩存器的所述多個存儲器模式設定來分別選擇性地被尋址于特殊功能處理核心以及人工智能核心，以使特殊功能處理核心以及人工智能核心依據所述多個存儲器模式設定來分別存取存儲器陣列中的不同存儲器區域。

技術領域

本發明是有關于一種電路架構，且特別是有關于一種具有存儲器內運算(Processing?In?Memory,PIM)架構的存儲器及其操作方法。

背景技術

隨著人工智能(Artificial?Intelligence,AI)運算的演進，人工智能運算的應用越來越廣泛，例如經由神經網絡(Neural?network)模型來進行圖像(Image)數據分析、語音(Voice)數據分析、自然語言(Natural?language)處理等神經網絡運算。并且，隨著神經網絡的運算復雜度越來越高，目前用于執行人工智能運算的計算機設備已逐漸無法應付當前的神經網絡運算需求，來提供有效且快速的運算性能。

因此，目前已有專屬的處理核心被設計出來，以利用專屬的處理核心來進行神經網絡運算。然而，雖然將神經網絡運算獨立由專屬的處理核心執行可充分發揮處理核心的運算能力，但是專屬的處理核心的處理速度仍然受限于數據存取速度。由于專屬的處理核心與其他特殊功能處理核心經由相同的通用總線(Bus)來讀取存儲器的數據，因此在其他特殊功能處理核心占用通用總線的情況下，導致專屬的處理核心無法實時的取得執行人工智能運算所需的數據。有鑒于此，如何設計一種能快速執行人工智能運算的處理架構，以下將提出幾個實施例的解決方案。

發明內容

本發明提供一種具有存儲器內運算架構的存儲器及其操作方法，可藉由整合在存儲器當中的人工智能(Artificial?Intelligence,AI)核心來直接讀取儲存在存儲器芯片當中的執行神經網絡(Neural?network)運算所需的數據，以實現快速地神經網絡運算的功效。

本發明的具有存儲器內運算架構的存儲器包括存儲器陣列、模式緩存器、存儲器接口以及人工智能核心。存儲器陣列包括多個存儲器區域。模式緩存器用以儲存多個存儲器模式設定。存儲器接口耦接存儲器陣列以及模式緩存器，并且外部耦接至特殊功能處理核心。人工智能核心耦接存儲器陣列以及模式緩存器。所述多個存儲器區域依據模式緩存器的所述多個存儲器模式設定來分別選擇性地被尋址于特殊功能處理核心以及人工智能核心，以使特殊功能處理核心以及人工智能核心依據所述多個存儲器模式設定來分別存取存儲器陣列中的不同存儲器區域。

在本發明的一實施例中，上述的特殊功能處理核心以及人工智能核心分別經由各自專屬的存儲器總線來同時存取存儲器陣列的不同存儲器區域。

在本發明的一實施例中，上述的所述多個存儲器區域包括第一存儲器區域以及第二存儲器區域。第一存儲器區域用以供人工智能核心專屬存取。第二存儲器區域用以供特殊功能處理核心專屬存取。

在本發明的一實施例中，上述的所述多個存儲器區域還包括多個數據緩沖區域。人工智能引擎以及存儲器接口交替地至所述多個數據緩沖區域存取不同數據。

在本發明的一實施例中，上述的當該人工智能核心執行神經網絡運算時，人工智能核心讀取所述多個數據緩沖區域中的一個的輸入數據作為輸入參數，并且讀取第一存儲器區域的權重數據。人工智能核心輸出特征數據至第一存儲器區域。

在本發明的一實施例中，上述的當人工智能核心執行神經網絡運算時，人工智能核心讀取第一存儲器區域的特征數據作為下一輸入參數，并且讀取第一存儲器區域的另一權重數據。人工智能核心輸出下一特征圖數據至所述多個數據緩沖區中的一個，以覆寫所述多個數據緩沖區中的一個。