[發明專利]用于物理機的數據分配方法和數據分配裝置

有效

• 申請號: 201310454953.0
• 申請日: 2013-09-29
• 公開（公告）號: CN104516773B
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 李立;史巨偉;戈弋;劉亮
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50;G06F9/455
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 羅銀燕

1.一種用于物理機的數據分配方法，在所述物理機上運行有多個虛擬機，所述方法包括：

從用于分配作業數據的調度器接收待處理數據；

將接收的待處理數據存儲在單個隊列中，其中，所述單個隊列被所述物理機上運行的所述多個虛擬機共享；以及

響應于所述多個虛擬機中存在空閑的虛擬機，向該空閑的虛擬機分配該隊列中的數據，以供該空閑的虛擬機進行處理。

2.根據權利要求1所述的方法，還包括：

響應于對所述待處理數據的處理完成，根據所述多個虛擬機處理的數據量大小和處理時間，向所述調度器報告用于指示所述物理機的數據吞吐量的信息，以使所述調度器下次向該物理機發送具有基于該信息的數據量大小的待處理數據。

3.根據權利要求2所述的方法，其中，下次向該物理機發送的待處理數據的數據量對應于所述調度器下次需要分配的作業數據的如下比例，該比例等于所述物理機的數據吞吐量與用于執行所述作業的所有物理機的數據吞吐量之和的比例。

4.根據權利要求2所述的方法，其中，在第一次從所述調度器接收待處理數據的情況下，接收的待處理數據的數據量大小由所述調度器根據用于執行所述作業的物理機個數、所述作業的數據量大小和預定比例決定。

5.根據權利要求1所述的方法，其中，

所述將接收的待處理數據存儲在單個隊列中包括：將接收的待處理數據以預定的基準存儲頁面為單位存儲在單個隊列中，

所述向該空閑的虛擬機分配該隊列中的數據包括：向該空閑的虛擬機分配該隊列中的整數個基準存儲頁面。

6.根據權利要求5所述的方法，其中，從所述調度器接收的待處理數據的數據量大小是基準存儲頁面的整數倍。

7.根據權利要求1所述的方法，其中，所述將接收的待處理數據存儲在單個隊列中包括：

對接收的待處理數據進行解析；

將解析后確定的屬于預定應用的待處理數據存儲在單個隊列中。

8.根據權利要求7所述的方法，其中，所述預定應用為基于MapReduce的應用。

9.一種用于物理機的數據分配裝置，在所述物理機上運行有多個虛擬機，所述裝置包括：

接收部件，被配置為從用于分配作業數據的調度器接收待處理數據；

存儲部件，被配置為將接收的待處理數據存儲在單個隊列中，其中，所述單個隊列被所述物理機上運行的所述多個虛擬機共享；以及

分配部件，被配置為響應于所述多個虛擬機中存在空閑的虛擬機，向該空閑的虛擬機分配該隊列中的數據，以供該空閑的虛擬機進行處理。

10.根據權利要求9所述的裝置，還包括：

報告部件，被配置為響應于對所述待處理數據的處理完成，根據所述多個虛擬機處理的數據量大小和處理時間，向所述調度器報告用于指示所述物理機的數據吞吐量的信息，以使所述調度器下次向該物理機發送具有基于該信息的數據量大小的待處理數據。

11.根據權利要求10所述的裝置，其中，下次向該物理機發送的待處理數據的數據量對應于所述調度器下次需要分配的作業數據的如下比例，該比例等于所述物理機的數據吞吐量與用于執行所述作業的所有物理機的數據吞吐量之和的比例。

12.根據權利要求10所述的裝置，其中，在第一次從所述調度器接收待處理數據的情況下，接收的待處理數據的數據量大小由所述調度器根據用于執行所述作業的物理機個數、所述作業的數據量大小和預定比例決定。

13.根據權利要求9所述的裝置，其中，

所述接收部件被配置為將接收的待處理數據以預定的基準存儲頁面為單位存儲在單個隊列中，

所述分配部件被配置為向該空閑的虛擬機分配該隊列中的整數個基準存儲頁面。

14.根據權利要求13所述的裝置，其中，從所述調度器接收的待處理數據的數據量大小是基準存儲頁面的整數倍。

15.根據權利要求9所述的裝置，其中，所述存儲部件包括：

解析子部件，被配置為對接收的待處理數據進行解析；

存儲子部件，被配置為將解析后確定的屬于預定應用的待處理數據存儲在單個隊列中。

16.根據權利要求15所述的裝置，其中，所述預定應用為基于MapReduce的應用。