[發明專利]一種電力物聯管理平臺動態資源擴展方法

在審

• 申請號: 202110396029.6
• 申請日: 2021-04-13
• 公開（公告）號: CN113065785A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 繆巍巍;曾锃;滕昌志;王傳君;張瑞;李世豪;張明軒;張廈千;張震;胡游君;周忠冉;張文鵬;蔡世龍;張俊杰
• 申請（專利權）人: 國網江蘇省電力有限公司信息通信分公司;南京南瑞信息通信科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/06;G16Y10/35;G16Y20/30
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 張賞

本發明公開了一種電力物聯管理平臺動態資源擴展方法，從動態擴展Kafka集群內連接單元數，動態擴展集群節點數和主題消息分區，動態擴展集群內微服務數量和動態擴展kubernetes集群環境，四個階段分級進行動態資源擴展，實現電力物聯管理平臺過度資源調配和顯式資源管理負擔的相對解耦，提高資源利用效率和資源分配效率，可以做到對系統資源的精確分配，避免平臺資源的過度浪費。

技術領域

本發明涉及一種電力物聯管理平臺動態資源擴展方法，屬于電力物聯管理技術領域。

背景技術

隨著邊緣設備對物聯管理平臺的大批量接入，大量的邊緣設備有時會同時上傳數據，這些同時上傳的海量數據對物聯管理平臺的資源調用產生巨大壓力，對網絡帶寬資源的占用將會成為整個物聯平臺數據接入和處理的瓶頸。目前，過度資源調配和顯式資源管理負擔這兩個問題是緊密耦合，在遇到所需資源精確分配所帶來的難度和成本問題時，通常會采用過度資源調配的方式來應對，這種機械靜態的方式是對平臺資源的浪費。

常見的資源擴展方式包括垂直擴展和水平擴展，垂直擴展通常的處理方法是提升單機的處理能力，常用的方式有：增強單機硬件的性能：如升級CPU主頻和核心數、升級更好的萬兆網卡、升級更好的SSD硬盤、擴充機器硬盤、擴充機器內存等。升級單機架構性能：如使用Cache來減少IO次數、使用異步來增加單服務吞吐量、使用無鎖數據結構來減少響應時間等。采用垂直擴展方式，優點是：單機優化易于配置且維護和管理的開銷最小，性能的改善簡單快捷見效快；缺點是：增強單機硬件的購置成本高，并且有可能效益不高，單機性能總歸是有限的。水平擴展通常的處理方法是通過增加服務器數量，實現線性擴充系統性能。水平擴展方式對系統的架構設計要求較高。

發明內容

本發明所要解決的技術問題是克服現有技術的缺陷，提供一種電力物聯管理平臺動態資源擴展方法，對電力物聯管理平臺分階段進行動態資源擴展。

為解決上述技術問題，本發明采用的技術方案如下：

本發明提供一種電力物聯管理平臺動態資源擴展方法，適用于邊緣設備上報海量消息到物聯管理平臺時，按四個階段分級進行動態資源擴展，包括：

根據當前設備連接數動態擴展接入Kafka集群內連接單元數；

根據Kafka集群節點資源占用情況動態擴展Kafka集群節點數和主題消息分區數；

根據微服務的資源占用情況動態擴展微服務數量；

以及，

根據帶寬消耗動態擴展kubernetes集群環境。

進一步的，所述根據當前設備連接數動態擴展接入Kafka集群內連接單元數，包括：

設定邊設備下掛子設備數量；

按照分鐘級數據上報設定，監測消息收發情況，確定一個連接單元能夠穩定接入的邊設備數量N；

編寫腳本，每增加N個邊設備，則新擴展一個連接單元。

進一步的，所述根據Kafka集群節點資源占用情況動態擴展Kafka集群節點數和主題消息分區數，包括：

實時監控kafka集群節點的內存和CPU使用率，在內存使用率和CPU使用率滿足預設條件下，如果某主題消息積累到閾值沒有被消費，則增加該主題消息分區數；

如果kafka集群節點內存使用率和CPU使用率不滿足預設條件，則增加kafka集群節點數。

進一步的，

如果kafka集群節點內存使用率不高于75%，且CPU使用率不高于90%，則滿足預設條件；

如果kafka集群節點內存使用率高于75%或CPU使用率高于90%，則不滿足預設條件。

進一步的，所述根據微服務的資源占用情況動態擴展微服務數量，包括：