[發明專利]一種級聯板間流水線的“蝶式”傳輸方法

有效

• 申請號: 201710990297.4
• 申請日: 2017-10-23
• 公開（公告）號: CN107844451B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 陳更生;倪思宇;黃超
• 申請（專利權）人: 復旦大學
• 主分類號: G06F13/42
• 分類號: G06F13/42;G06F13/10
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于微電子技術領域，具體涉及一種級聯板間流水線的“蝶式”傳輸方法。本發明將主機與板卡間PCIe總線的定期通信作為獨立流水級的完全流水線工作模式，使分布在各塊板卡上的所有用戶邏輯能以緊湊的流水線方式不間斷工作，顯著地增加計算的粘性。總的系統吞吐率僅取決于用戶邏輯的計算耗時，不受級聯板卡數量增加的影響；針對完全流水線工作模式下的數據傳輸進一步提出了“蝶式”構型的訪存方法；通過分離讀/寫數據通道從而充分利用板載的雙DDR控制器的帶寬，相比單DDR控制器提升近一倍的傳輸性能。本發明適用于任意用戶邏輯單元及級聯板卡的數量組合，以及用戶邏輯單元在不同板卡上的分配方案。

技術領域

本發明屬于微電子技術領域，具體涉及一種用多塊FPGA/ASIC板卡級聯進行完全流水線工作時主機與板卡間通信及板卡內部用戶邏輯訪存時的數據傳輸方法，尤其涉及級聯板間流水線的“蝶式”傳輸方法。

背景技術

可編程邏輯器件(Field Programmable Gate Array,FPGA)或專用集成電路(Application Specific Integrated Circuit,ASIC)的片上可用邏輯資源通常是受限的。在部署較大規模的應用(如深度卷積神經網絡)時，往往難以完整部署到單塊板卡上，而需要分拆到多塊板卡上，形成一個級聯的計算集群。

級聯集群的應用部署在形式上通常根據若干運算步驟劃分成一系列子模塊，即用戶邏輯單元。這些邏輯單元采用級聯的方式進行連續運算，后級單元依賴前級單元的運算結果。為了最大化系統的吞吐率，往往把各用戶邏輯單元安排到流水線上，以便所有的用戶邏輯能夠同時進行運算。流水線方式工作的要點是防止前級單元的運算結果在取用前就被覆蓋，一般的做法是在相鄰流水級之間使用ping-pong buffer結構。但是FPGA/ASIC的片上存儲器的容量有限，且每個用戶邏輯單元的數據傳輸量可能很大(如深度卷積神經網絡中卷積層的輸入輸出特征圖很大)，因此中間數據需要存儲到板卡上的DDR存儲器(DoubleData Rate SDRAM)中，并至少劃分出兩段DDR地址空間以防止數據覆蓋。主機與板卡間的數據通信也需要板卡上的DDR做緩存。

用戶邏輯訪問DDR可以采用AXI(Advanced eXtensible Interface)總線協議，如采用Xilinx公司所提供的AXI_interconnect IP核協調多個AXI讀/寫請求，最終向DDR控制器發起讀/寫操作。主機與板卡間的數據通信一般采用帶寬較大的PCIe(PeripheralComponent Interconnect Express)總線，對于連續數據的傳輸可以進一步采用DMA(Direct Memory Access)機制，主機對板卡的DMA讀/寫最終也會轉化為AXI讀/寫請求。AXI讀/寫通道的分離能夠提升AXI總線上數據傳輸的性能。如當AXI_interconnect提供并發讀/寫通道時，讀通道對于寫操作閑置，反之亦然，因此針對讀/寫操作提供單一數據通道能夠最大化通道的利用率。同時單一的讀/寫操作還能合并同方向的數據流，利用AXI突發傳輸(Data Burst)的優勢從而進一步提升傳輸效率。

集群化的大規模應用部署通常受數據通信上的限制而降低效率。在單塊板卡上進行多個用戶邏輯的流水線作業時，每個流水周期各個用戶邏輯及主機會同時發起若干AXI讀/寫請求，此時DDR控制器有限的帶寬成為通信的瓶頸；而在多塊板卡級聯工作時，原本連續的用戶邏輯被分配到不同的板卡上，其數據需要借助主機來中轉，從而破壞了單卡時緊湊的流水線工作方式。同時，主機對板卡上DDR的訪存操作進一步加重了DDR控制器帶寬的擁堵程度。再有，消耗在主機和板卡通信上的時間隨傳輸數據量的不等可以占到用戶邏輯計算時間的幾分之一甚至和用戶邏輯計算時間相當。當集群中板卡的數目增加時，通信上的耗時也隨之線性增加，系統性能顯著降低。

發明內容

本發明的目的在于提出一種計算粘性強，對帶寬利用率高，傳輸性能好的級聯板間流水線的“蝶式”傳輸方法。