[發明專利]分布式系統平臺的性能優化方法及裝置

有效

• 申請號: 201610894140.7
• 申請日: 2016-10-13
• 公開（公告）號: CN107948227B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 嚴波
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

本發明公開了一種分布式系統平臺的性能優化方法及裝置，涉及信息技術領域，可以提高分布式系統平臺中分區數量的調整效率，可以提升分布式系統的性能優化效果，所述方法包括：獲取攜帶有分區數量配置信息的配置文件，所述配置文件是在分布式系統平臺接收任務時傳入的；解析所述配置文件，得到所述分區數量配置信息；根據所述分區數量配置信息，對所述分布式系統平臺中的分區數量進行更新。本發明適用于分布式系統平臺的性能優化。

技術領域

本發明涉及信息技術領域，尤其涉及一種分布式系統平臺的性能優化方法及裝置。

背景技術

近些年來，隨著信息技術的飛速發展，分布式系統得到廣泛應用，分布式系統是建立在網絡之上的軟件系統，處理各項協助的任務，然后整合出結果。而分布式系統中的并行運算性能與分區數量相關，例如，spark是一個大數據分布式系統計算平臺，不僅實現了MapReduce的算子map函數和reduce函數及計算模型，還提供更為豐富的算子，Partition分區的數量確定了spark并行運算的能力，Partition分區數量越多，spark并發能力相對更好。

目前，分區數量是通過編碼的方式，并使用相應的API(Application ProgrammingInterface,應用程序編程接口)接口進行設置，相當于將分區數量和具體的代碼融合在了一起。

然而，在對分布式系統進行性能優化的情況下，當需要不斷調整分區數量時，通過上述設置分區數量的方式，每次都需要修改代碼并重新打包，會造成分區數量的調整效率較低，進而影響了分布式系統的性能優化。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的分布式系統平臺的性能優化方法及裝置。

為了達到上述目的，本發明主要提供如下技術方案：

一方面，本發明提供了一種分布式系統平臺的性能優化方法，該方法包括：

獲取攜帶有分區數量配置信息的配置文件，所述配置文件是在分布式系統平臺接收任務時傳入的；

解析所述配置文件，得到所述分區數量配置信息；

根據所述分區數量配置信息，對所述分布式系統平臺中的分區數量進行更新。

進一步地，所述獲取攜帶有分區數量配置信息的配置文件之前，所述方法還包括：

將所述分布式系統平臺中需要設置的分區數量通過預設全局標識符進行替代；

根據接收到的配置文件的配置指令，對所述配置文件的分區數量配置信息中與所述預設全局標識符對應的分區數量進行配置；

所述獲取攜帶有分區數量配置信息的配置文件，具體包括：

獲取配置后的所述配置文件。

具體地，所述根據所述分區數量配置信息，對所述分布式系統平臺中的分區數量進行更新，具體包括：

將所述分布式系統平臺中與所述預設全局標識符對應的分區數量，替換為所述分區數量配置信息中與所述預設全局標識符對應的分區數量。

進一步地，所述方法還包括：按照預定時間間隔檢測所述分布式系統平臺是否接收到新的配置文件；所述獲取攜帶有分區數量配置信息的配置文件，具體包括：若是，則獲取所述分布式系統平臺最新接收到的配置文件。

進一步地，所述方法還包括：觸發所述分布式系統平臺根據更新后的分區數量劃分分區，以使得所述分布式系統平臺通過劃分后的分區執行所述提交任務。

另一方面，本發明提供了一種分布式系統平臺的性能優化裝置，該裝置包括：

獲取單元，可以用于獲取攜帶有分區數量配置信息的配置文件，所述配置文件是在分布式系統平臺接收任務時傳入的；