[發明專利]基于Spark Shuffle的遠程直接內存訪問系統

在審

• 申請號: 201811501978.0
• 申請日: 2018-12-10
• 公開（公告）號: CN109861967A
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中國人民銀行清算總中心
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04L12/26
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤

本發明提供了一種基于Spark Shuffle的遠程直接內存訪問系統。所述系統包括：發送端及接收端；所述發送端包括發送器、發送通道及發送管理器；所述發送器將獲取到的傳輸數據存儲至所述發送通道，并調用所述發送管理器；所述發送管理器被調用后，根據所述傳輸數據生成核對信息，并將所述核對信息存儲至所述發送通道；所述接收端包括接收器、接收通道及接收管理器；所述接收器通過遠程直接內存訪問技術獲取所述發送通道中的傳輸數據及核對信息，將所述傳輸數據及所述核對信息存儲至所述接收通道，并調用所述接收管理器；所述接收管理器被調用后，根據所述核對信息對所述傳輸數據進行核驗。

技術領域

本發明涉及遠程內存直接訪問技術領域，尤指一種基于Spark Shuffle的遠程直接內存訪問系統。

背景技術

在MapReduce框架中，Shuffle是連接Map和Reduce之間的橋梁，Reduce要讀取到Map的輸出必須要經過Shuffle這個環節；而Reduce和Map過程通常不在一臺節點，這意味著Shuffle階段通常需要跨網絡以及一些磁盤的讀寫操作，因此Shuffle的性能高低直接影響了整個程序的性能和吞吐量。

與MapReduce計算框架一樣，Spark作業也有Shuffle階段，通常以Shuffle來劃分Stage；而Stage之間的數據交互是需要Shuffle來完成的。整個過程如圖1所示。不管是MapReduce還是Spark作業，Shuffle操作是很消耗CPU、RAM、磁盤還有網絡資源的；需要盡可能地避免Shuffle操作。

發明內容

為了解決目前Spark的Shuffle階段消耗過大、數據通量低等問題，本發明實施例的主要目的在于提供一種一種基于Spark Shuffle的遠程直接內存訪問系統，所述系統包括：發送端及接收端；

所述發送端包括發送器、發送通道及發送管理器；所述發送器將獲取到的傳輸數據存儲至所述發送通道，并調用所述發送管理器；所述發送管理器被調用后，根據所述傳輸數據生成核對信息，并將所述核對信息存儲至所述發送通道；

所述接收端包括接收器、接收通道及接收管理器；所述接收器通過遠程直接內存訪問技術獲取所述發送通道中的傳輸數據及核對信息，將所述傳輸數據及所述核對信息存儲至所述接收通道，并調用所述接收管理器；所述接收管理器被調用后，根據所述核對信息對所述傳輸數據進行核驗。

可選的，在本發明一實施例中，所述發送端還包括注冊器，所述注冊器用于將傳輸任務注冊為支持遠程直接內存訪問的格式；其中，所述傳輸任務中存儲所述傳輸數據。

可選的，在本發明一實施例中，所述發送管理器還用于查看所述發送器及所述發送通道的狀態，并向所述發送器反饋發送狀態提醒，以使所述發送器根據所述發送狀態提醒，通過所述傳輸任務獲取所述傳輸數據。

可選的，在本發明一實施例中，所述接收端還包括監聽器，所述監聽器用于監聽所述接收通道，當監聽到所述傳輸數據進入所述接收通道時，向所述接收器發送接收提醒，以使所述接收器根據所述接收提醒調用所述接收管理器。

可選的，在本發明一實施例中，所述接收管理器還用于查看所述接收器及所述接收通道的狀態，并向所述接收器反饋接收狀態提醒，以使所述接收器根據所述接收狀態提醒，通過所述發送通道獲取所述傳輸數據。

可選的，在本發明一實施例中，所述核對信息包括數據明細及匯總信息；所述接收管理器被調用后，根據所述核對信息對所述傳輸數據進行核驗進一步包括：所述接收管理器根據所述數據明細核對所述傳輸數據的明細，并根據所述匯總信息核對所述傳輸數據的總數。

可選的，在本發明一實施例中，所述接收管理器還用于對所述傳輸數據進行核驗后，所述接收管理器向所述接收器發送核驗結果。