[發明專利]調用hadoop集群的方法和裝置

有效

• 申請號: 201610061664.8
• 申請日: 2016-01-28
• 公開（公告）號: CN105740408B
• 公開（公告）日: 2019-02-05
• 發明（設計）人: 吳海平;徐超;王磊;張旭
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

本發明提出一種調用hadoop集群的方法和裝置，該方法包括：在應用程序啟動后，初始化hadoop API，并采用初始化后的API根據默認值描述虛擬的hadoop集群；讀取用戶上傳的待調用hadoop集群的配置文件；采用所述配置文件更新所述默認值，得到新值；重新初始化hadoop API，并采用重新初始化后的API根據新值描述真實的hadoop集群；根據所述真實的hadoop集群的信息，調用所述真實的hadoop集群。該方法能夠在調用hadoop集群時，提高靈活性，以動態調用hadoop集群，并且也不需要開發者對hadoop集群的安裝細節很了解。

技術領域

本發明涉及計算機技術領域，尤其涉及一種調用hadoop集群的方法和裝置。

背景技術

hadoop是一種分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，開發分布式程序，充分利用集群的威力進行高速運算和存儲。在開發基于hadoop集群的一些應用程序時，開發者一般通過兩種方式。第一種方式是將集群的配置文件嵌入到應用程序的代碼中，然后通過hadoop應用程序編程接口(Application ProgrammingInterface，API)的默認處理方式，調用集群服務。另一種方式需要開發者將調用集群服務所需要的參數傳遞給相應的API。但是，第一種方式會存在不夠靈活的問題，第二種方式存在需要開發者對集群服務非常熟悉的問題。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種調用hadoop集群的方法，該方法可以在調用hadoop集群時，提高靈活性，以動態調用hadoop集群，并且也不需要開發者對hadoop集群的安裝細節很了解，便于將精力專注于hadoop服務的使用。

本發明的另一個目的在于提出一種調用hadoop集群的裝置。

為達到上述目的，本發明第一方面實施例提出的調用hadoop集群的方法，包括：在應用程序啟動后，初始化hadoop API，并采用初始化后的API根據默認值描述虛擬的hadoop集群；讀取用戶上傳的待調用hadoop集群的配置文件；采用所述配置文件更新所述默認值，得到新值；重新初始化hadoop API，并采用重新初始化后的API根據新值描述真實的hadoop集群；根據所述真實的hadoop集群的信息，調用所述真實的hadoop集群。

本發明第一方面實施例提出的調用hadoop集群的方法，通過采用集群的配置文件而不是傳送參數的方式，可以不需要開發者對待調用的hadoop集群的安裝細節很了解，另外，通過讀取用戶上傳的配置文件，而不是將配置文件嵌入到代碼中，可以提高靈活性，從而實現對集群的動態調用。

為達到上述目的，本發明第二方面實施例提出的調用hadoop集群的裝置，包括：第一初始化模塊，用于在應用程序啟動后，初始化hadoop API，并采用初始化后的API根據默認值描述虛擬的hadoop集群；讀取模塊，用于讀取用戶上傳的待調用hadoop集群的配置文件；第一更新模塊，用于采用所述配置文件更新所述默認值，得到新值；重新初始化模塊，用于重新初始化hadoop API，并采用重新初始化后的API根據新值描述真實的hadoop集群；調用模塊，用于根據所述真實的hadoop集群的信息，調用所述真實的hadoop集群。

本發明第二方面實施例提出的調用hadoop集群的裝置，通過采用集群的配置文件而不是傳送參數的方式，可以不需要開發者對待調用的hadoop集群的安裝細節很了解，另外，通過讀取用戶上傳的配置文件，而不是將配置文件嵌入到代碼中，可以提高靈活性，從而實現對集群的動態調用。

本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。

附圖說明