[發明專利]運行于RDMA通信環境的并行應用通信性能預測方法

有效

• 申請號: 202011000919.2
• 申請日: 2020-09-22
• 公開（公告）號: CN112383443B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 肖利民;周易;閆柏成;韓萌;朱乃威;王澤紅
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04L47/83
• 分類號: H04L47/83;H04L41/149;H04L41/50
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 吳小燦;朱亞娜

1.運行于RDMA通信環境的并行應用通信性能預測方法，其特征在于，包括以下步驟：

步驟a，構建RDMA技術下的點對點通信性能模型，包括通過構建面向RDMA的LoghGOPS模型，將一次通信過程分解為若干部分，設發送的消息長度為i，CPU需要處理通信請求的時間為o，通信網卡需要處理通信請求的時間為h，通信網卡兩次處理通信請求時間最小間隔為g，網絡通信延遲為L，單位長度消息通信需要花費的時間為G，則僅消耗在數據傳輸過程的時間為L+iG，且根據接收消息分別由通信網卡直接處理或需要通知CPU的區別，總時間開銷為o+2h+L+iG或2o+2h+L+iG；

步驟b，獲取應用的通信時序與節點分布情況，包括以并行應用本身為主體，首先獲取應用的節點數量，隨后采用文本分析法或庫函數法，獲取并記錄每個節點上的全部通信相關操作，包括發送、接收、等待、同步的過程與消息長度信息，最后將各個節點上的通信時序整理為一個完整的通信時序；節點分布情況則直接按照應用本身設計，或根據運行環境的默認分布方式獲取；

步驟c，基于步驟a中的通信性能模型與步驟b中的通信過程，設計模型參數測量步驟，包括對于確定的發送方與接收方，設計5次不同的測量過程，分別記錄測得時間t₁～t₅；將測得時間與5次測量過程的時間開銷表達式結合，構建方程組，可求得步驟a中各項參數在該通信過程中的值，從而刻畫一次點對點通信過程；多次執行該測量步驟，并利用鏈路延遲測量方法與鏈路帶寬測量方法，將刻畫方式推廣到通信的網絡中，獲取預測應用通信通信開銷的全部參數；

步驟d，按照步驟b得到的時序，依次計算每次通信需要的時間，并結合各個通信步驟間的順序關系，計算得出應用通信所需的理論開銷；

所述步驟b的具體過程包括：

b1)獲取應用運行所需的節點數量，隨后根據實際情況與使用習慣選用文本分析法或庫函數法獲取每個節點的通信操作；

b2)選取文本分析法的場合，對于每一個節點，關注應用的全部通信函數，以及與之相關的賦值、條件、循環語句，分析每一條通信函數的執行信息，包括操作類型、發送方與接收方信息、通信數據量、執行次數與順序的，并儲存這些執行信息；

b3)選取庫函數法的場合，對于應用中的全部通信函數，設計一個同名的函數取代原本執行通信功能的函數，功能為記錄該次通信操作的各種信息，操作類型、發送方、接收方、通信數據量；根據實際情況，該函數可以不執行原本的通信操作，或仍執行該次通信；隨后將該庫鏈接到并行應用中并執行，可得到與節點數目相同的通信操作記錄；

b4)將多個節點的通信操作記錄整合為一份完整的通信時序；該過程應當符合通信函數設計規范，包括以下幾項：同一批全局同步函數應當在同一時間執行；一組對應的發送/接收函數是一次通信過程；同一節點上有明確順序關系的過程，或阻塞式通信過程應當與實際通信產生的次序一致；非阻塞式通信過程的實際通信可以產生在函數調用之后的時序；按照以上規則遍歷每一份通信記錄，可得到一份包含應用運行過程中全部通信的通信時序；

所述步驟c的具體過程包括：

c1)基于鏈路延遲測量方法與鏈路帶寬測量方法，分析步驟b中的全部通信過程，以此確定刻畫該應用的通信所需的網絡性能參數，并按照所需參數執行設計若干次步驟c2與c3的執行；

c2)進行若干次通信過程測量步驟獲取刻畫通信必須的參數，對于確定的通信發送方、接收方、消息發送模式，通過設定5次消息發送過程與計時節點，分別測量時間t₁～t₅；其中，取i分別為i₁、i₂(i₁≠i₂)測得t₁、t₂，取k分別為k₁、k₂(k₁≠k₂)測得t₄、t₅，k為通信網卡消息發送過程的重復次數；t₃為選取消息大小為i₂的情況下消息發送到對方CPU再返回的時間；

c3)根據步驟a所述的通信性能模型，求得測量過程t₁～t₅的時間開銷表達式如下：

根據該方程組可求得模型參數的表達式為：

其中，參數o、h、g只與發送方、接收方的CPU或通信網卡相關，而L、G與網絡的整體環境相關；為了進一步提升性能預測準確性與效率，可繼續執行c4所述步驟；

c4)在步驟c3的基礎上，使用鏈路延遲測量方法與鏈路帶寬測量方法，獲取通信節點間的通信延遲，即表達式中的L；使用現有的鏈路可用帶寬分析方法，獲取節點間的通信有效帶寬，即表達式中G的倒數，從而進一步提升性能預測的準確性與效率；

所述步驟d包括：d1)按照步驟a中給出的模型與步驟c中獲取的參數，分別計算每次通信的時間開銷；d2)按照通信時序，使用每次通信的時間開銷計算得出應用的通信總時間開銷預測值。