[發明專利]一種多GPU環境下的數據通信性能優化方法

有效

• 申請號: 201711045712.5
• 申請日: 2017-10-31
• 公開（公告）號: CN107861815B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 廖小飛;鄭然;劉元棟;金海
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F12/0802
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

本發明公開了一種多GPU環境下數據通信性能優化方法，具體為：針對GPU內存非規則訪問，采用數據重組的方法對數據進行預處理，在CPU端將數據重新組合成適合GPU訪問的新數據然后傳輸給GPU內存；針對在多GPU環境下冗余的數據重組，采用緩存的思想，將重組后的新數據在CPU端緩存起來，而在后續有其它GPU訪問時才回傳給CPU以及通過點對點技術傳送給其它訪問GPU。本發明大大減少了GPU的非規則內存訪問和冗余的數據通信，從而提高了單CPU—多GPU環境下的數據通信性能。

技術領域

本發明屬于數據通信性能優化技術領域，更具體地，涉及一種多GPU環境下的數據通信性能優化方法。

背景技術

隨著圖形處理器GPU的提出，GPU越來越多地被應用于高性能計算、科學計算、機器學習和圖算法等眾多領域中。得益于GPU高度并行的體系結構和強大的計算能力，GPU可以顯著地加速許多數據并行的應用，而且隨著多GPU卡技術的成熟，越來越多地在單一節點上配置多個GPU進一步加速應用。然而很多研究表明，對于大部分應用，GPU的加速效果在很大程度上受限于CPU-GPU以及GPU-GPU間的數據通信，因此研究如何高效地在多GPU環境下進行數據通信具有重要意義。

非規則應用導致的低效內存訪問是嚴重降低通信效率的一個重要方面，因為GPU的內存結構以及非規則的數據結構，低效的內存訪問會導致多次內存訪問事務。目前，國內外學者已經對單GPU環境下優化非規則內存訪問的方法進行了大量的研究工作。大多數的研究關注的是靜態非規則內存訪問，只有極少數的研究關注動態非規則內存訪問。而在實際應用中，特別是分子動力學和圖應用等，往往存在的是動態非規則內存訪問，傳統地通過改變數據存儲結構等靜態方法不再適用，因此，研究一種在多GPU環境下有效避免動態非規則內存訪問的優化方法具有重大意義。

目前，優化動態非規則內存訪問的方法，主要利用動態地在GPU端數據重組和數據訪問重定向來將非規則內存訪問轉化為規則內存訪問，例如在GPU端創建規則的數據副本，將訪問重定向到該數據副本；或者利用共享內存重組數據等。現存的這些優化方法，雖然一定程度上避免了動態非規則內存訪問，但仍然存在一些問題，主要包括：1)在GPU端創建副本，大量浪費了GPU有限的內存資源；2)在多GPU環境下，在GPU端實時創建副本，會導致多個GPU訪問同一段非規則數據時冗余的數據重組。

發明內容

針對現有技術的缺陷，本發明的目的在于提供一種多GPU環境下優化動態非規則內存訪問的方法，旨在解決現有方法中存在的浪費GPU有限的內存資源和冗余的數據重組的技術問題。

為實現上述目的，本發明提供了一種多GPU環境下優化動態非規則內存訪問的方法，包括以下步驟。

CPU數據重組步驟：CPU將數據劃分為多段，對各數據段進行數據重組生成數據段副本，并僅將各GPU第一次需訪問數據段的數據段副本傳送給對應的GPU；

GPU數據訪問步驟：各GPU進行第一次數據段訪問時，直接訪問本地的數據段副本；各GPU進行余下數據段訪問時，從CPU的內存中訪問數據段副本。

進一步地，所述余下數據段第一次被訪問的具體實施方式為：

當數據段D被第一次訪問，CPU為請求GPU分配GPU端首地址，將數據段D的數據段副本傳送給請求GPU，請求GPU按照新分配的GPU端首地址存儲數據段副本。

進一步地，所述余下數據段第n,n＞1次被訪問的具體實施方式為：

當數據段F被第n,n＞1次訪問，CPU判定請求GPU是否是首次訪問該數據段，如果是進入首次訪問步驟，否則進入非首次訪問步驟；

首次訪問步驟：若CPU存儲的是最新數據段副本，CPU將最新數據段副本傳送給請求GPU；若CPU存儲的是不是最新數據段副本，則CPU通知最近更新過數據段副本的GPU將最新數據段副本回傳以及傳送給請求GPU；