[發明專利]用可配置器件卸載計算任務以提高系統性能的方法和裝置

在審

• 申請號: 202110745288.5
• 申請日: 2021-07-01
• 公開（公告）號: CN113485762A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 格蘭特·托馬斯·詹寧斯;朱璟輝;王添平;曹捷
• 申請（專利權）人: 廣東高云半導體科技股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/48;G06N3/08;G06N20/00
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 解婷婷;李丹

1.一種便于解析嵌入式可編程硬件并轉換和分配存儲器的方法，所述方法包括：根據用戶輸入，通過執行Tensorflow flatbuffer的程序，解析嵌入式可編程硬件，并轉換和分配存儲器。

2.一種RAM分配和吞吐量優化的方法，所述方法包括：

在存儲器控制器中提供可調的專用直接存儲器訪問和緩沖存儲器，以允許根據FPGA資源調整性能；以及

提供機器學習處理器的專用存儲器接口，以實現更快、更高效的處理。

3.一種可編程器件，該可編程器件被配置為具有能自動加載/卸載機器學習處理器的架構。

4.一種系統，所述系統包括能卸載和協同處理的微處理器和微控制器單元，該微處理器作為機器學習處理器被配置為獨立進行神經網絡處理，并通過狀態機由該微控制器單元進行控制，從而同時進行傳感器數據前端預處理與神經網絡處理。

5.一種用于卸載和/或協同處理計算任務的方法，所述方法包括：

接收輸入數據并將所述輸入數據緩存到系統的數據緩沖區中；

由所述系統的微控制器單元，通過直接存儲器訪問或寄存器映射控制，將所述輸入數據加載到機器學習處理器的RAM層中；

由所述機器學習處理器獨立對所述輸入數據進行神經網絡處理以得到處理結果；以及

將所述處理結果從所述機器學習處理器讀取到所述微控制器單元以基于所述處理結果控制所述系統的其他部分。

6.根據權利要求5所述的方法，其中，所述輸入數據在所述機器學習處理器的機器學習計算機與所述RAM層間來回傳遞，以進行所述神經網絡處理。

7.根據權利要求5所述的方法，其中，所述機器學習處理器利用為所述神經網絡處理保存層系數的ROM控制器；所述方法還包括：通過微控制器單元的狀態機同時啟動從所述ROM控制器和所述RAM層讀取數據。

8.根據權利要求7所述的方法，其中所述RAM層包括偽靜態隨機存取存儲器控制器，并且所述ROM控制器包括串行外設接口控制器。

9.根據權利要求5所述的方法，其中所述輸入數據包括來自以下中至少一項的輸入：攝像機、麥克風和慣性測量單元。

10.根據權利要求9所述的方法，其中所述輸入數據包括來自麥克風的音頻數據，所述方法還包括由所述微控制器單元將所述音頻數據轉化為聲譜圖數據并將所述聲譜圖數據輸入到單獨的所述機器學習處理器中進行神經網絡處理。

11.根據權利要求10所述的方法，其中，將所述音頻數據轉化為聲譜圖數據的操作與對聲譜圖數據進行神經網絡處理的操作并行進行，從而實現對連續音頻數據流的處理。