[發明專利]一種數據處理的方法及裝置

有效

• 申請號: 201410223152.8
• 申請日: 2014-05-23
• 公開（公告）號: CN105094981B
• 公開（公告）日: 2019-02-12
• 發明（設計）人: 崔慧敏;楊文森;謝睿
• 申請（專利權）人: 華為技術有限公司;中國科學院計算技術研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

本發明實施例公開了一種數據處理的方法及裝置，涉及通信領域，用以提高數據處理的效率。所述方法，包括：獲取待處理任務以及與待處理任務對應的至少一個待處理的數據；為待處理任務分配圖形處理器GPU；將待處理任務對應的至少一個待處理數據轉換為數據集合類型的數據；將數據集合類型中的數據進行解析，將解析后的數據生成至少一個數據塊；將生成的至少一個數據塊發送給所述被分配的GPU，以使得GPU根據待處理任務對至少一個數據塊進行計算處理。本發明適用于觸發加速部件處理數據的場景。

技術領域

本發明涉及通信領域，尤其涉及一種數據處理的方法及裝置。

背景技術

隨著科學技術和互聯網的發展，現代社會的信息量迅速增長，這些信息里積累著大量的數據，這些數據中將會有部分數據存儲在云平臺中或借助云平臺進行處理，借助Hadoop可以高效地存儲、管理和分析這些存儲在云平臺中的數據。

Hadoop是一個能夠對大量數據進行分布式處理的軟件架構，其最底部是一個分布式文件系統，通過采用分布式存儲方式來進行數據存儲，提高了數據的讀寫速度，也擴大了存儲容量。分布式文件系統的上一層是映射簡化(MapReduce)引擎，通過MapReduce引擎對分布式文件系統中的數據進行整合，可以保證分析和處理數據的高效性，正是由于Hadoop突出的優勢，其在許多領域中被廣泛應用。但是在具有如圖形處理器(GraphicsProcessing Unit，GPU)等加速部件的集群環境中，由于現有的Hadoop的MapReduce引擎為用戶提供的<key，value>編程接口的局限性，使得Hadoop的MapReduce引擎無法觸發已有的加速部件進行數據的處理，這樣也就無法利用加速部件強大的計算能力，使得處理數據的效率得不到提高。

發明內容

本發明的實施例提供一種數據處理的方法及裝置，用以提高數據處理的效率。

為達到上述目的，本發明的實施例采用如下技術方案：

第一方面，本發明實施例提供了一種數據處理的方法，包括：獲取待處理任務以及與所述待處理任務對應的至少一個待處理的數據；為所述待處理任務分配圖形處理器GPU；將所述待處理任務對應的所述至少一個待處理數據轉換為數據集合類型的數據；將所述數據集合類型中的數據進行解析，將解析后的數據生成至少一個數據塊；將所述生成的至少一個數據塊發送給所述被分配的GPU，以使得所述GPU根據所述待處理任務對所述至少一個數據塊進行計算處理。

在第一方面的第一種可能的實現方式中，在為所述待處理任務分配圖形處理器GPU之前還包括：獲取預先配置的資源信息表；所述資源信息表用于記錄GPU的數量以及所述GPU的使用情況信息。

結合第一方面的第一種可能的實現方式中，在第一方面的第二種可能的實現方式中，在所述獲取資源信息表之后，還包括：確定所述待處理任務需要的GPU的使用數量；所述為待處理任務分配圖形處理器GPU包括：根據所述資源信息表中GPU的數量及所述GPU的使用情況信息，確定未使用的GPU的數量滿足所述待處理任務需要的GPU的使用數量時，為所述待處理任務分配GPU。

結合第一方面第二種可能的實現方式，在第一方面的第三種可能的實現方式中，所述資源信息表還用于記錄中央處理器CPU的數量以及所述CPU的使用情況信息；在所述確定所述待處理任務需要的GPU的使用數量之后，還包括：確定所述資源信息表中未使用的GPU的數量不滿足待處理任務需要的GPU的使用數量時，為所述待處理任務分配CPU。

結合第一方面，或第一方面的第一至第三任一種可能的實現方式，在第一方面的第四種可能的實現方式中，所述將所述待處理任務對應的所述至少一個待處理數據轉換為數據集合類型的數據包括：確定所述數據集合類型的數據大小；根據所述數據集合類型的數據大小，將所述至少一個待處理數據分配至至少一個數據集合中；所述數據集合中包含的待處理數據的大小不大于所述數據集合類型的數據大小。