[發明專利]一種在多核DSP下的海量數據流多模態調度方法

有效

• 申請號: 201710509588.7
• 申請日: 2017-06-28
• 公開（公告）號: CN107608784B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 江磊;劉從新;李申
• 申請（專利權）人: 西安微電子技術研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

本發明公開了一種在多核DSP下的海量數據流多模態調度方法，包括主控核和加速核，主控核和加速核之間通過請求包隊列傳輸請求，基于數據維度和數據優先順序，確定連續選擇、隨機選擇和螺旋選擇三種數據塊選擇方法，根據負載均衡確定循環調度和負載均衡調度兩種數據塊多核分配方法，對通過數據塊分組方法根據分配粒度選定的數據塊加載多個計算核中進行處理。采用多層次的數據塊調度方式，滿足了數據塊調度時的系統負載、數據相關性、處理粒度、數據維度和順序的需求，具有良好的通用性和移植性；從多個層面擴展了數據塊調度的模式和形態，具有更強的適用范圍，用戶只需配置數據塊調度方式和分配粒度，系統自動完成數據調度，提高了并行開發的效率。

技術領域

本發明屬于多核并行計算領域，具體涉及一種在多核DSP下的海量數據流多模態調度方法。

背景技術

隨著高性能多核DSP處理器在武器裝備系統中的廣泛應用，武器裝備逐漸朝著高性能、智能化、小型化方向發展，這需要充分利用多核DSP并行計算的能力，而目前在多核DSP上主要提供了兩種并行計算模型：針對共享存儲的OpenMP模型和針對分布式存儲的OpenEM 模型。

其中OpenMP模型的數據計算和傳輸主要使用共享內存完成，不存在數據流調度問題。而OpenEM模型中數據計算需要將數據傳輸至局部存儲，因此需要完成數據流調度，其調度方式為動態負載均衡，該方法主要利用了多核DSP的多核導航器硬件，實現了數據塊的硬件排隊，達到了較為理想的負載均衡效果，但OpenEM并未針對數據塊的調度粒度、處理順序和數據維度等特性考慮數據塊調度問題。這已不適用于目前流行的高級圖像算法和機器學習等算法，如地形跟蹤/回避、多模地形/電磁/景象匹配定位導航、模式識別(目標檢測、識別和跟蹤)、深度學習(聚類、分類、SVM和圖結構計算等)等。

目前，針對數據塊的調度粒度、處理順序和維度的調度方法主要和具體的應用結合，并未從編程模型的角度整體考慮，沒有形成較為通用的調度方法。如在專利CN104849698A中，提出了一種基于異構多核系統的雷達信號并行處理方法，該方法中考慮了數據塊的維度問題，但只是針對雷達信息處理領域，并不具有通用性，同時該系統也并未考慮負載均衡、處理順序和調度粒度問題。在專利CN104504205A中，提出了一種對稱FIR算法的并行化二維分割方法及其硬件結構，考慮了數據的粒度和維度問題，但也是針對特定的算法設計，且并未考慮數據負載均衡和數據處理順序問題。而在專利CN104794494A中，提出了一種可擴展快速的軌跡聚類方法，也是針對特定問題只考慮了數據的粒度問題。在專利CN1608379中，提出了確定相鄰數據塊內的模式的方法和設備，詳細考慮了相鄰數據塊在橫向、縱向、斜向和旋轉的比對問題，但并未考慮海量數據流的分割及多核負載均衡的多模態調度等問題。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種在多核DSP下的海量數據流多模態調度方法，從負載均衡、分配粒度、數據維度和處理順序四個角度整體考慮數據塊調度問題，提出了三種數據塊選擇方法、兩種數據分配方法和一種數據塊分組方法，并設計了靈活的組合及使用方式，使得數據塊調度可同時滿足均衡性、多粒度、多維度和多序的特性，為復雜智能算法的實現提供了有力支撐。

本發明采用以下技術方案：

一種在多核DSP下的海量數據流多模態調度方法，包括主控核和加速核，所述主控核和加速核之間通過請求包隊列傳輸請求，基于數據維度和數據優先順序，確定連續選擇、隨機選擇和螺旋選擇三種數據塊選擇方法，根據負載均衡確定數據庫循環調度和數據庫負載均衡調度兩種數據塊多核分配方法，對通過數據塊分組方法根據分配粒度選定的數據塊加載多個計算核中進行處理。

進一步的，所述在多核DSP下的海量數據流多模態調度方法主要在所述主控核實現，具體流程如下：

S101、用戶根據需求設置數據塊的調度組合方式和分配粒度；

S102、用戶在分割數據塊時，根據調度方式將數據塊分配至不同的隊列；