[發明專利]一種構建優勢性能數據倉庫的方法和裝置

有效

• 申請號: 201910578042.6
• 申請日: 2019-06-28
• 公開（公告）號: CN110442562B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 馮曉慶
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰

本發明提供了一種構建優勢性能數據倉庫的方法和裝置，該方法包括以下步驟：收集集群中系統資源可使用情況并顯示結果；基于顯示的結果選擇數據倉庫的組件和資源，并使用組件和資源在底層形成架構組件和資源配置文件；基于業務場景選擇測試參數對基于架構組件和資源配置文件的數據倉庫進行測試并得到測試結果；響應于測試結果大于閾值，使用架構組件與資源配置文件進行數據倉庫的構建。通過使用本發明的方法，能夠提高組件部署效率，減少實施人員工作量和人力成本，提高應用的資源利用率和模塊化部署效能。結合業務場景提供架構配置建議，能夠減少生產環境的問題，為環境帶來合理的應用部署，提高業務性能，提高資源利用率。

技術領域

本領域涉及計算機領域，并且更具體地涉及一種構建優勢性能數據倉庫的方法和裝置。

背景技術

隨著我們從IT時代步入DT時代，數據積累量也與日俱增，同時伴隨著互聯網的發展，越來越多的應用場景產生，傳統的數據處理、存儲方式已經不能滿足日益增長的需求。而互聯網行業相比傳統行業對新生事物的接受度更高、應用場景更復雜，因此互聯網行業對應面向大數據多業務場景構建的數據倉庫有大量需求。

目前數據倉庫方案需要運維人員摸清底層配置，手動確認服務器的資源，并對每個應用組件的搭建步驟熟悉。同時，不同的應用場景有不同的架構設計，當根據方案架構進行配置時，需要對多個配置文件進行修改。

盡管數據倉庫建模方法論是一致的，但由于所面臨的行業、場景的不同，在互聯網領域，基于大數據的數據倉庫建設無法按照原有的項目流程、開發模式進行，更多的是需要結合新的技術體系、業務場景進行靈活的調整，以快速響應需求為導向。現有數據倉庫方案需要對每個應用組件進行手工配置，依靠人力配置多又復雜的配置文件，不僅消耗人力效率低，管理麻煩而且被動，當一個配置有問題時，需要手動修改當前配置，并上傳到其他節點。而且，同一種架構的搭建設計，在不同的場景應用時，會有性能上較大的差異性。對于新搭建的數據倉庫平臺性能需要人工評估，費時費力。配置評估過高，會影響應用組件之間的使用，降低性能；配置評估過低，會導致資源利用率低，浪費資源。我們迫切需要能減少手工配置的部分過程，同時能結合業務場景推出優化的架構配置建議。

浪潮英信i48是一款基于Intel至強可擴展處理的預制模塊化高密度服務器，專為全新高密度數據中心及全新應用優化設計，是全場景一體化解決方案的最佳基礎設施。整機每個節點為獨立系統，通過中背板與機箱連接，機箱電源、風扇等為共享設計，進一步節約空間與能耗。i48在有限的空間內完美展現了高密度、高效、可靠、智能的特性。隨著數據量的增長、業務的可用性和重要性的增加，用戶對數據倉庫的要求越來越高，既需要具有整合資源、共享數據、提供服務的功能，又需要具有簡單部署、高性能、低成本的特點。浪潮高密度服務器i48采用模塊化設計，高度為2U，配置了計算型、存儲型以及計算存儲平衡型三類節點，以及可選的大容量存儲和I/O擴展模塊，最大可支持8個計算節點或者72塊3.5寸硬盤，可以組合形成70多種解決方案。

故可將浪潮高密度服務器i48作為數據倉庫的基礎硬件，便于在提供高性能，高密度特性的同時，能夠靈活擴展，易于管理。

發明內容

有鑒于此，本發明實施例的目的在于提出一種構建優勢性能數據倉庫的方法和裝置，使用該方法能夠提高組件部署效率，減少實施人員工作量和人力成本，提高應用的資源利用率和模塊化部署效能。結合業務場景提供架構配置建議，能夠減少生產環境的問題，為環境帶來合理的應用部署，提高業務性能，提高資源利用率。

基于上述目的，本發明的實施例的一個方面提供了一種構建優勢性能數據倉庫的方法，包括以下步驟：

收集集群中系統資源可使用情況并顯示結果；

基于顯示的結果選擇數據倉庫的組件和資源，并使用組件和資源在底層形成架構組件和資源配置文件；

基于業務場景選擇測試參數對基于架構組件和資源配置文件的數據倉庫進行測試并得到測試結果；