[發明專利]一種基于HDFS啟動并行加載元數據的方法及裝置

在審

• 申請號: 202010152735.1
• 申請日: 2020-03-06
• 公開（公告）號: CN111414206A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 潘利杰;常洪耀
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/50;G06F11/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張春輝

1.一種基于HDFS啟動并行加載元數據的方法，其特征在于，包括：

在HDFS啟動過程中，確定待加載至內存的元數據的數據量；

根據所述數據量和當前主機的狀態信息，確定用于執行元數據加載操作的線程的目標數量；

生成所述目標數量的線程；

并行調用所述目標數量的線程，將所述待加載至內存的元數據加載至內存中。

2.如權利要求1所述的方法，其特征在于，所述根據所述數據量和當前主機的狀態信息，確定用于執行元數據加載操作的線程的目標數量，包括：

根據所述數據量以及當前主機的CPU信息、內存信息和負載信息，確定用于執行元數據加載操作的線程的目標數量。

3.如權利要求2所述的方法，其特征在于，所述在HDFS啟動過程中，確定待加載至內存的元數據的數據量，包括：

在HDFS啟動過程中，確定待加載至內存的元數據的數量級。

4.如權利要求1所述的方法，其特征在于，在所述并行調用所述目標數量的線程，將所述待加載至內存的元數據加載至內存中之前，還包括：

將所述待加載至內存的元數據的原始索引信息轉換為可多線程操作的目標索引信息。

5.如權利要求4所述的方法，其特征在于，所述將所述待加載至內存的元數據的原始索引信息轉換為可多線程操作的目標索引信息，包括：

根據所述待加載至內存的元數據的原始索引信息，確定所述目標數量的目標索引信息，其中所述目標索引信息與所述線程一一對應。

6.如權利要求5所述的方法，其特征在于，所述并行調用所述目標數量的線程，將所述待加載至內存的元數據加載至內存中，包括：

對于所述目標數量的線程，同時調用每個所述線程根據相應的目標索引信息執行元數據加載操作，以實現將所述待加載至內存的元數據加載至內存中。

7.一種基于HDFS啟動并行加載元數據的裝置，其特征在于，包括：

數據量確定模塊：用于在HDFS啟動過程中，確定待加載至內存的元數據的數據量；

線程數量確定模塊：用于根據所述數據量和當前主機的狀態信息，確定用于執行元數據加載操作的線程的目標數量；

線程生成模塊：用于生成所述目標數量的線程；

元數據加載模塊：用于并行調用所述目標數量的線程，將所述待加載至內存的元數據加載至內存中。

8.如權利要求7所述的裝置，其特征在于，所述線程數量確定模塊用于：

根據所述數據量以及當前主機的CPU信息、內存信息和負載信息，確定用于執行元數據加載操作的線程的目標數量。

9.一種基于HDFS啟動并行加載元數據的設備，其特征在于，包括：

存儲器：用于存儲計算機程序；

處理器：用于執行所述計算機程序，以實現如權利要求1-6任意一項所述的基于HDFS啟動并行加載元數據的方法的步驟。

10.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時用于實現如權利要求1-6任意一項所述的基于HDFS啟動并行加載元數據的方法的步驟。