[發(fā)明專利]面向流處理器并行環(huán)境的數(shù)據(jù)流通信系統(tǒng)及其通信方法

有效

• 申請?zhí)枺?/td>: 201110135776.0
• 申請日: 2011-05-25
• 公開（公告）號: CN102201992A
• 公開（公告）日: 2011-09-28
• 發(fā)明（設(shè)計）人: 陳慶奎;那麗春;曹歡歡;郝聚濤;霍歡;趙海燕;莊松林;丁曉東
• 申請（專利權(quán)）人: 上海理工大學(xué)
• 主分類號: H04L12/56
• 分類號: H04L12/56;G06F15/163
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 吳寶根

1.一種面向流處理器并行環(huán)境的數(shù)據(jù)流通信系統(tǒng)，其特征在于：包括流處理器并行計算物理環(huán)境、節(jié)點資源表、部件資源表、流通信管道映射表；

所述流處理器并行計算物理環(huán)境為一個四元組SPPE（PCS，MASTER，SOFS，NS）；其中，SPPE為流處理器并行計算物理環(huán)境，PCS=｛C1，C2，…，Cc｝為SPPE中的計算節(jié)點的集合，MASTER為SPPE中的主控制計算節(jié)點，SOFS為SPPE中的軟件的集合，NS為SPPE中的互連網(wǎng)絡(luò)的集合，且在NS上配有MPI通信環(huán)境；

所述計算節(jié)點配置有CPU計算部件、GPU計算部件、動態(tài)管道池，及用于MPI通信的MPI接收部件、MPI發(fā)送部件，所述CPU計算部件、GPU計算部件、MPI接收部件、MPI發(fā)送部件均為廣義計算部件，所述GPU計算部件為流處理計算設(shè)備；

所述動態(tài)管道池為一個四元組DPP（ID，CPS，PPS，PipeM）；其中，DPP為動態(tài)管道池，ID為DPP的標(biāo)識符，CPS=｛CP1，CP2，…，CPm｝為DPP中的公有管道的管道集合，PPS=｛PN1，PN2，…，PNn｝為DPP中的私有管道的管道集合，是廣義計算部件讀取信息的專有管道，PipeM為DPP的管道管理部件，所述公有管道及私有管道均為單向流動的數(shù)據(jù)流通道，所述CPS分為兩組，分別為CPSM管道組和CPSS管道組，CPSM管道組用于接收消息，CPSS管道組用于發(fā)送消息和數(shù)據(jù)流信息通信的管道綁定，每個廣義計算部件均配有一個私有管道，用于接收消息及數(shù)據(jù)流；

所述廣義計算部件為一個五元組GP（ID，RP，WP，PN，SP）；其中，GP為廣義計算部件，ID為GP的部件標(biāo)識符，RP為GP的讀管道進程；WP為GP的寫公有管道進程，PN為GP的私有管道，SP=｛P1，p2，p3，…，Pp｝為GP中的各狹義計算部件的集合；

所述節(jié)點資源表為一個二維表NTA（Nid，Nname，Nip，Ntype），記載有SPPE中所有計算節(jié)點的節(jié)點信息；其中，NTA為節(jié)點資源表，Nid為所記載計算節(jié)點的節(jié)點標(biāo)識符，Nname為所記載計算節(jié)點的節(jié)點名字，用于通信標(biāo)識，Nip為所記載計算節(jié)點的節(jié)點IP地址，用于MPI環(huán)境的配置，Ntype為所記載計算節(jié)點的節(jié)點類型，用于表明所記載計算節(jié)點的是普通計算節(jié)點還是主控制計算節(jié)點；

所述部件資源表為一個二維表PTA（Pid，Pname，Ptype，PN），記載有SPPE中所有廣義計算部件的部件信息；其中，PTA為部件資源表，Pid為所記載部件的部件標(biāo)識符，Pname為所記載部件的部件名字，用于通信標(biāo)識，Ptype為所記載部件的部件類型，用于表明該部件是CPU計算部件、GPU計算部件，還是通信部件，PN為所記載部件的私有管道；

所述流通信管道映射表為一個二維表MTA（Pid，group，sno，PipeA，PipeB）；其中，MTA為流通信管道映射表，Pid為標(biāo)識符，group為數(shù)據(jù)流通信組號，用于通信標(biāo)識，sno為序號，PipeA為數(shù)據(jù)流源管道號，PipeB為數(shù)據(jù)流目標(biāo)管道號；

所述NTA、PTA、MTA?在每個計算節(jié)點中均保持一個副本，并采用強一致性維護；

各部件之間的通信均通過數(shù)據(jù)通信單元來承載，所述通信數(shù)據(jù)單元為一個十元組CDU（id，Sno，Segno，SourceN，SourceP，DestNS，DestPS，type，COM，DATA）；其中，CDU為通信數(shù)據(jù)單元，id為該CDU的標(biāo)識符，Sno、Segno均用于數(shù)據(jù)流通信，Sno為該CDU的數(shù)據(jù)流號，Segno為該CDU的數(shù)據(jù)段號，SourceN為通信源計算節(jié)點，SourceP為該CDU的發(fā)出部件，DestNS為該CDU的目標(biāo)計算節(jié)點的集合，DestPS為該CDU的目標(biāo)部件的集合，是目標(biāo)計算節(jié)點內(nèi)接收該CDU的部件的集合，type為該CDU的通信數(shù)據(jù)單元類別，共有數(shù)據(jù)流、命令消息、短消息三種類別，COM為通信命令，DATA為消息數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的面向流處理器并行環(huán)境的數(shù)據(jù)流通信系統(tǒng)的通信方法，其特征在于：

每個廣義計算部件中的SP執(zhí)行本地的計算任務(wù)，并接收該廣義計算部件中的RP送來的信息進行處理；

設(shè)發(fā)送端的廣義計算部件為GP1，接收端的廣義計算部件為GP2，INFO為消息，SINFO為數(shù)據(jù)流；

GP1中的SP要發(fā)送INFO到GP2時，先查詢PTA獲取GP2的ID，再把GP2的ID和INFO提交給GP1的WP，然后再處理后續(xù)計算任務(wù)；

GP1中的SP要發(fā)送SINFO到GP2時，先查詢PTA獲取GP2的ID，再把GP2的ID和SINFO提交給GP1的WP，并等待至SINFO通信結(jié)束后再處理后續(xù)計算任務(wù)；

GP1中的WP收到該GP中的SP提交的GP2的ID及通信數(shù)據(jù)后，先判斷收到的通信數(shù)據(jù)的類型，如果GP1中的WP收到的通信數(shù)據(jù)是INFO，則創(chuàng)建一個CDU，再根據(jù)GP1的ID從NTA和PTA中獲取本地計算節(jié)點的節(jié)點信息及GP1的部件信息填寫到CDU的SourceN及SourceP中，并將通信命令填入CDU的COM，將INFO填入CDU的DATA，將CDU的type填寫為短消息類別，然后獲取本地動態(tài)管道池的一個公有管道記為CP，并將該CDU寫入CP；如果GP1中的WP收到的通信數(shù)據(jù)是SINFO，則根據(jù)GP2的ID從NTA和PTA獲取GP2的私有管道記為PP，并獲取本地動態(tài)管道池的一個公有管道記為CP，然后把CP、PP及GP1的ID一起發(fā)給本地的PipeM，PipeM收到CP、PP及GP1的ID后在MTA中建立一個映射元組mtat將CP和PP綁定，并把CP置為繁忙狀態(tài)，然后把映射元組mtat發(fā)往GP2所在的計算節(jié)點，然后再將SINFO分段成多個數(shù)據(jù)段，并為每個數(shù)據(jù)段創(chuàng)建一個CDU，將各數(shù)據(jù)段分別填入各CDU的DATA，根據(jù)分段次序為各數(shù)據(jù)段依序設(shè)置數(shù)據(jù)流號及數(shù)據(jù)段號填入分別填入各CDU的Sno及Segno中，然后將各個CDU按分段次序逐次寫入CP，直至SINFO發(fā)送完畢；SINFO通信結(jié)束后，GP1中的WP向本地的PipeM發(fā)送一個請求使PipeM將映射元組mtat撤銷，并釋放CP；

每個廣義計算部件中的RP掃描自己的私有管道，如果RP掃描到自己的私有管道中有命令消息或短消息類別的CDU，則提取CDU中的id和DATA并傳輸給該廣義計算部件中的SP，如果RP掃描到自己的私有管道中有數(shù)據(jù)流類別的CDU，并獲取到與該CDU相對應(yīng)的映射元組mtat，則RP對每個接收到的CDU用映射元組mtat進行識別，并按接收到的CDU的Sno及Segno進行數(shù)據(jù)流復(fù)原，并逐一傳給本廣義計算部件中的SP；

每個動態(tài)管道池中的PipeM循環(huán)掃描本地CPS中的每個公有管道，如果本地CPS中的公有管道中有CDU，則先判定該CDU中的目標(biāo)部件是否為本地部件，如果該CDU中的目標(biāo)部件為本地部件則根據(jù)該CDU中的DestPS從PTA中獲取目標(biāo)部件所對應(yīng)的私有管道，然后把該CDU傳輸至目標(biāo)部件所對應(yīng)的私有管道；如果該CDU的目標(biāo)部件為遠(yuǎn)程部件則將該CDU寫入本地MPI發(fā)送部件的私有管道中；

每個MPI接收部件實時接收來自SPPE中的NS的CDU，并根據(jù)收到的CDU中的DestPS從PTA中得到目標(biāo)部件的部件信息并獲取其私有管道，然后將收到的CDU寫入目標(biāo)部件的私有管道中；

每個MPI發(fā)送部件循環(huán)掃描自己的私有管道，如果掃描到自己的私有管道中有待發(fā)送的CDU，則根據(jù)PTA、MTA及該CDU的DestPS獲取目標(biāo)計算節(jié)點的節(jié)點信息及目標(biāo)部件的部件信息，然后將本計算節(jié)點的節(jié)點信息填入該CDU的SourceN，將該CDU發(fā)出部件的部件信息填入該CDU的SourceP，將目標(biāo)計算節(jié)點的節(jié)點信息填入該CDU的DestNS，將目標(biāo)部件的部件信息填入該CDU的DestPS，并填寫該CDU的type和COM，然后將該CDU發(fā)送給目標(biāo)計算節(jié)點。