[發明專利]一種面向神經網絡處理的按優先級調度的數據輸出電路結構

有效

• 申請號: 202011306945.8
• 申請日: 2020-11-20
• 公開（公告）號: CN112418419B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 韓軍;張權;張永亮;曾曉洋
• 申請（專利權）人: 復旦大學
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 張磊

本發明屬于集成電路設計領域，具體為一種面向神經網絡處理的按優先級調度的數據輸出電路結構，整體結構主要由四部分組成：用于決定水平方向運算單元數據傳輸優先級的X?bus單元模塊，用于決定垂直方向運算單元數據傳輸優先級的Y?bus單元模塊，用于參數填充的后綴配置單元模塊，用于與存儲單元交互的地址計算單元模塊。該電路采用兩級總線形式，預先在兩級總線上設置數據傳輸優先級，規范數據傳輸順序的同時避免數據堵塞和總線閑置。同時為提升數據復用度和數據訪存的效率，本發明設計了更好服務于四維地址計算的地址計算單元，通過內部歷史信息表保證數據的有序寫回。本發明能夠有效的提升神經網絡處理中的輸出結果傳輸效率。

技術領域

本發明屬于集成電路設計領域，具體涉及一種面向神經網絡處理的按優先級調度的數據輸出電路結構。

背景技術

神經網絡算法在計算機視覺、語音識別以及機器人控制等重要領域都得到了良好應用，但是各類應用也對神經網絡算法的精度和復雜度不斷提出更高的要求，導致算法的實現面臨一系列挑戰性問題。最近的神經網絡處理器架構研究表明，基于陣列并行的空間型處理器架構，搭配行固定數據流策略，并搭配特定的數據傳輸通路，能夠很好的利用神經網絡算法本身內部的高并行性和高復用度，從而大大減少數據的訪存次數，提升處理器整體能效比。

因片上存儲空間有限，神經網絡處理器會產生大量的中間結果，數據輸出通路的硬件實現關鍵在于如何高效寫回中間結果的同時避免數據競爭導致電路阻塞和因總線閑置導致的資源浪費問題。對于數據競爭而言，可以采用預先為所有的運算單元設置數據傳輸優先級，在一個周期或者多個周期內遍歷所有的運算單元，按照優先級設置寫回中間結果，但是隨著陣列規模的增大，這種直接遍歷的時鐘延遲會很大。另一種方法是通過預先設定數據傳輸優先級搭配兩級總線形式，對運算陣列進行切割，對兩級總線來說，擁有更快的運算單元遍歷速度，減少時鐘延遲，搭配優先級的設置能夠快速定位需要寫回中間結果的運算單元，大大提升數據傳輸效率。本設計提出了基于行固定數據流策略，預先設置運算單元數據傳輸優先級，采用兩級總線結構，完成輸出數據的高效傳輸。

發明內容

為了克服現有技術的不足，本發明的目的在于提供一種面向神經網絡處理的按優先級調度的數據輸出電路結構，預先為各個運算單元配置數據傳輸優先級，采用兩級總線結構，完成輸出數據的有序寫回。

本發明提出的一種面向神經網絡處理的按優先級調度的數據輸出電路結構，包括X-bus單元模塊，Y-bus單元模塊，后綴配置單元模塊和地址計算單元模塊；其中：

X-bus單元模塊，沿水平方向為該行上的卷積運算單元設置傳輸優先級，按照優先級接受運算單元的中間結果；

Y-bus單元模塊，沿垂直方向為所有與之連接的X-bus設置傳輸優先級，按照傳輸優先級傳輸來自X-bus上的中間結果；

后綴配置單元模塊，用于在輸出結果數據包中添加標識號和坐標信息，用于后續四維地址的計算；

地址計算單元模塊，服務于更適用于神經網絡計算和軟件開發人員的四維訪存地址的計算；

運算單元與X-bus單元模塊之間設有后綴配置單元模塊，該后綴配置單元模塊輸入來自運算單元的中間結果，輸出以數據包的形式傳輸；X-bus單元模塊與Y-bus單元模塊之間設有后綴配置單元模塊，該后綴配置單元模塊輸入為來自X-bus的數據包，輸出會對輸入的數據包進行進一步的填充；

首先運算單元輸入為來自運算陣列的中間結果，經過與之連接的后綴配置單元添加x坐標和列標識號；每個時鐘周期內，X-bus單元模塊都會遍歷所有的運算單元，一旦運算單元產生中間結果，按照數據優先級高低接受運算單元的中間結果，并將中間結果發送到與之連接的后綴配置單元模塊，添加y坐標和行標識號；如果多行卷積運算單元同時產生結果，Y-bus單元模塊按照預先設置的數據優先級傳輸X-bus上的中間結果數據包，并將數據包發送到地址計算單元模塊得到四維段地址，最終完成輸出數據的傳輸。