[發明專利]面向流處理器并行環境的數據流通信系統及其通信方法

有效

• 申請號: 201110135776.0
• 申請日: 2011-05-25
• 公開（公告）號: CN102201992A
• 公開（公告）日: 2011-09-28
• 發明（設計）人: 陳慶奎;那麗春;曹歡歡;郝聚濤;霍歡;趙海燕;莊松林;丁曉東
• 申請（專利權）人: 上海理工大學
• 主分類號: H04L12/56
• 分類號: H04L12/56;G06F15/163
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 吳寶根

技術領域

本發明涉及數據通信技術，特別是涉及一種面向流處理器并行環境的數據流通信系統及其通信方法的技術。

背景技術

隨著信息技術的飛速發展和互聯網技術應用的普及,網絡已經成為人們日常生活中重要的一部分。近年來，3G網絡和物聯網技術應用逐步展開為人們的生活、工作帶來了極大的方便。然而，這些新技術的廣泛應用帶來海量信息處理問題以及如何提高大規模實時支持能力的新挑戰。以流處理器為代表的新型計算裝置為解決這些困難帶來了曙光。流處理器是GPU走向通用計算領域的總稱，因其內部采用上百個Stream?processor并行架構而得名，其性能十分出眾，以GTX480為例其浮點計算性能已經超過Tfloaps。目前世界主流顯卡廠商NVIDIA、AMD（ATI）、Intel等公司都積極投入流處理器的研究和通用計算研究領域。在通用計算研究領域已經成熟的編程模型有NVIDIA的CUDA（Compute?Unified?Device?Architecture）和AMD的CTM（Close?To?Metal），這些技術已經被廣泛的應用到圖像處理、游戲、3D處理、科學計算、數據挖掘等領域。根據傳統的并行技術,利用計算機網絡把若干個配置流處理器的計算機連接起來可以構建更為強大的并行信息處理系統是一個十分重要的工作。因而流處理器集群不僅可以構建更大規模的處理系統，更主要的是，其可以使用較傳統CPU集群更少的計算節點構建比CPU集群強大數百倍的計算系統，而其能源消耗大大降低，且大大增強了系統的穩定性。構建集群除了物理網絡外，還需要有效的并行通信協議的支持，方能發揮其并行處理的能力。MPI已經成為并行環境構建領域一個重要的通信系統，被學術界和工業界廣泛應用。

但是，現有基于流處理器的網絡中各計算節點的處理環境及各計算節點之間的通信環境比較復雜，使得CUDA（Compute?Unified?Device?Architecture）程序員及CTM（Close?To?Metal）程序員在開發并行通信程序和并行流處理器程序時需要先詳細了解計算節點的處理細節及各計算節點之間的通信細節，因此不利于系統程序的開發，而且也不利于海量數據流（如3G視頻流）的實時處理。

發明內容

針對上述現有技術中存在的缺陷，本發明所要解決的技術問題是提供一種系統程序開發方便，且利于海量數據流實時處理的面向流處理器并行環境的數據流通信系統及其通信方法。

為了解決上述技術問題，本發明所提供的一種面向流處理器并行環境的數據流通信系統，其特征在于：包括流處理器并行計算物理環境、節點資源表、部件資源表、流通信管道映射表；

所述流處理器并行計算物理環境為一個四元組SPPE（PCS，MASTER，SOFS，NS）；其中，SPPE為流處理器并行計算物理環境，PCS=｛C1，C2，…，Cc｝為SPPE中的計算節點的集合，MASTER為SPPE中的主控制計算節點，SOFS為SPPE中的軟件的集合，NS為SPPE中的互連網絡的集合，且在NS上配有MPI通信環境；

所述計算節點配置有CPU計算部件、GPU計算部件、動態管道池，及用于MPI通信的MPI接收部件、MPI發送部件，所述CPU計算部件、GPU計算部件、MPI接收部件、MPI發送部件均為廣義計算部件，所述GPU計算部件為流處理計算設備；

所述動態管道池為一個四元組DPP（ID，CPS，PPS，PipeM）；其中，DPP為動態管道池，ID為DPP的標識符，CPS=｛CP1，CP2，…，CPm｝為DPP中的公有管道的管道集合，PPS=｛PN1，PN2，…，PNn｝為DPP中的私有管道的管道集合，是廣義計算部件讀取信息的專有管道，PipeM為DPP的管道管理部件，所述公有管道及私有管道均為單向流動的數據流通道，所述CPS分為兩組，分別為CPSM管道組和CPSS管道組，CPSM管道組用于接收消息，CPSS管道組用于發送消息和數據流信息通信的管道綁定，每個廣義計算部件均配有一個私有管道，用于接收消息及數據流；

所述廣義計算部件為一個五元組GP（ID，RP，WP，PN，SP）；其中，GP為廣義計算部件，ID為GP的部件標識符，RP為GP的讀管道進程；WP為GP的寫公有管道進程，PN為GP的私有管道，SP=｛P1，p2，p3，…，Pp｝為GP中的各狹義計算部件的集合；