[發明專利]一種考慮數據、算法和體系結構結合的可擴展性度量方法

有效

• 申請號: 201911311998.6
• 申請日: 2019-12-18
• 公開（公告）號: CN111176839B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 曾國蓀;劉文娟;丁春玲
• 申請（專利權）人: 同濟大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 應小波

本發明涉及一種考慮數據、算法和體系結構結合的可擴展性度量方法，包括以下步驟：步驟1：獲得大數據任務在數據中心擴展前后參數信息；步驟2：獲得數據中心擴展前后的計算規模測度，并獲得擴展前后的計算規模測度之比；步驟3：獲得數據中心擴展前后的計算開銷測度，并獲得擴展前后的計算開銷測度之比；步驟4：獲得可擴展性度量函數的數值；步驟5：判斷數據中心的可擴展性。與現有技術相比，本發明具有考慮因素更全面、更具一般性等優點。

技術領域

本發明涉及并行計算可擴展性度量方法領域，尤其是涉及一種考慮數據、算法和體系結構結合的可擴展性度量方法。

背景技術

并行計算是實現高性能計算的重要手段，為求解超級挑戰問題提供了機會。可擴展性是并行計算系統所追求的一個重要目標。所謂的可擴展性，指的是并行計算系統隨著處理節點數目的增加，其性能也隨之增強的能力。過去的幾十年，國內外學者對可擴展性進行了廣泛深入的研究，主要分為三個方面，包括體系結構、算法以及算法與體系結構的結合。大數據的產生，使得巨大的數據量不但要求數據中心能夠“存儲的下”和“計算得了”，而且要求數據中心的計算和存儲能力能夠隨著數據量的增長而不斷擴展。因此，分數度量數據中心的可擴展性必須要考慮數據因素，然而傳統可擴展性的研究都只是關注在算法或體系結構方面，沒有考慮數據因為，無法用來度量數據中心的可擴展性。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種考慮因素更加全面、更具有一般性的考慮數據、算法和體系結構結合的可擴展性度量方法。

本發明的目的可以通過以下技術方案來實現：

一種考慮數據、算法和體系結構結合的可擴展性度量方法，包括以下步驟：

步驟1：獲得大數據任務在數據中心擴展前后參數信息；

步驟2：根據計算負載規模和數據規模獲得數據中心擴展前后的計算規模測度，并獲得擴展前后的計算規模測度之比；

步驟3：根據數據存取時間和計算時間獲得數據中心擴展前后的計算開銷測度，并獲得擴展前后的計算開銷測度之比；

步驟4：根據擴展前后的計算規模測度之比和計算開銷測度之比獲得可擴展性度量函數的數值；

步驟5：根據可擴展性度量函數的數值判斷數據中心的可擴展性。

優選地，所述的數據中心在擴展前后的參數包括計算負載規模W和W'、數據規模D和D'、數據存取時間t和t'以及計算時間τ和τ'。

更加優選地，所述的數據規模具體為大數據在存儲設備上占用的存儲空間；所述的計算負載規模具體為大數據任務算法中計算操作的數目。

更加優選地，所述的擴展前的計算規模測度的計算方法為：

擴展后的計算規模測度的計算方法為：

更加優選地，所述的擴展前的計算開銷測度的計算方法為：

擴展后的計算開銷測度的計算方法為：

更加優選地，所述的等規模-開銷測度之比的可擴展性度量函數具體為：

更加優選地，所述的可擴展性度量函數的取值范圍為(0,1]。

優選地，所述的步驟5具體為：

可擴展性函數越大，數據中心的可擴展性越好，當可擴展性函數等于1時，數據中心為嚴格意義上的可擴展。

與現有技術相比，本發明具有以下優點：