[發明專利]一種面向分布式存儲結構的處理方法

有效

• 申請號: 201710496514.4
• 申請日: 2017-06-26
• 公開（公告）號: CN107203406B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 龍欣榮;劉從新;江磊
• 申請（專利權）人: 西安微電子技術研究所
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F9/38
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

本發明公開了一種面向分布式存儲結構的處理方法，采用面向密集計算的5層并行編譯框架，包括：用于生成剔除冗余的多原子應用并行區域的密集計算應用編譯層、以數據并行模型為基礎的原子應用層、用于將所述原子應用層的應用指令集翻譯成基于多核運行時系統的SPMD并行代碼的數據并行編譯層、用于完成任務調度和數據流調度的并行運行時層以及用于支撐所述并行運行時層的操作系統層和本地編譯層。基于本發明處理方法的模型，可以研發嵌入式多核版MATLAB，實現可見即可得的編程效果，為新一代巡航導彈、防空導彈、智能無人機等智能武器快速研發和部署矩陣運算、模式識別、機器學習等復雜算法，提供簡單而高效的多核編程平臺。

技術領域

本發明屬于多核嵌入式存儲結構設計技術領域，具體涉及一種面向分布式存儲結構的處理方法。

背景技術

隨著數字信號處理技術已經廣泛應用于通信、圖像識別、雷達、電子、醫學成像等領域，各領域對數字信號處理器(DSP，Digital Signal Processor)的性能需求也激增。而傳統的單核DSP計算性能在現有工藝條件下已接近瓶頸，故多核DSP將成為未來的一個重要發展方向。但多核DSP編程環境復雜，軟件人員需要考慮各核任務、資源、數據的分配以及核間的協同工作等，導致編程周期長，負擔重。同時，不恰當的多核協同工作方案會導致無法充分利用多核的硬件加速優勢，甚至出現多核的性能還不如單核的情況。所以急需一套適用于多核DSP的應用編譯框架，解放軟件編程人員，自動將串行的單核代碼翻譯成并行的多核代碼。

多核處理器C語言自動化是一個非常經典的研究課題，傳統的自動化并行編譯器，希望通過從傳統單指令流的串行程序中提取粗粒度的并行來實現在多核處理器的并行執行，經過幾十年的研究，目前也無法獲得大的突破。

工作在系統應用層的OpenMP和MPI編程模型近年來在任務多核化方面已取得重要進展，是當前比較流行的兩種并行編程模型。OpenMP通過對現有的串行C語言增加一組編譯制導語句和庫函數，由程序員指明線程間數據的私有和共享屬性，采用fork-join的模式并行執行；國內清華大學對在開源編譯器ORC上，對OpenMP指導語句進行了全局靜態分析；中國科技大學實現了針對集群系統的擴展OpenMP。MPI則是通過一組消息庫函數來支持不同處理器之間的消息通信，以單程序多數據(Single Program MultiPle Data，SPMD)方式在多個處理器核間并行執行程序，由編程人員對程序進行任務劃分和通信交互。

除了OpenMP和MPI之外，還有其他諸多編程模型，總的來看這些并行編程模型都主要基于共享存儲模型，共享存儲模型因存在多核訪存沖突和數據局部性難以利用的不足，導致多核處理器可擴展性差、多核加速比難以提升；此外，現有的編程模型都是面向并行系統的編程模型，要求程序員必須熟悉并行系統結構，所設計的并行算法需要對程序進行精心的任務劃分、數據通信和同步設計。因此，程序的性能受制于程序員并行算法的設計和對并行系統的理解，這不僅極大地增加了編程人員、尤其是各個應用領域編程人員的編程負擔，而且降低了程序的運行效率，很大程度上影響了并行系統性能的發揮。

此外，涉及諸多矩陣、數組和圖像處理的混合運算，在分布式存儲模型下，計算核必須將參與計算的數據顯性地傳遞到本地存儲區后才能開展運算。計算表達式越復雜，需要傳遞的數據流種類就越多，這導致數據流傳輸的控制邏輯非常復雜，自動化調度困難。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種面向分布式存儲結構的處理方法，通過充分利用分布式存儲結構的數據局部性原理，本發明提高了多核加速比，同時也解決了分布式存儲模型下復雜計算表達式引發的數據流傳輸控制邏輯異常繁瑣、自動化調度困難等問題。

本發明采用以下技術方案：