[發(fā)明專利]一種任務(wù)調(diào)控方法、裝置及相關(guān)設(shè)備

有效

• 申請?zhí)枺?/td>: 202010975232.4
• 申請日: 2020-09-16
• 公開（公告）號: CN111949494B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計）人: 侯滿
• 申請（專利權(quán)）人: 北京浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張春輝

本申請公開了一種任務(wù)調(diào)控方法，包括對集群節(jié)點進(jìn)行實時監(jiān)控，獲得各節(jié)點的監(jiān)控信息；根據(jù)所述監(jiān)控信息判斷所述節(jié)點是否為新增節(jié)點；若是，則獲取所述新增節(jié)點對應(yīng)的標(biāo)準(zhǔn)閾值信息；根據(jù)所述標(biāo)準(zhǔn)閾值信息和所述監(jiān)控信息對所述新增節(jié)點進(jìn)行任務(wù)調(diào)控；該任務(wù)調(diào)控方法可以有效實現(xiàn)集群系統(tǒng)中的任務(wù)調(diào)控，保證負(fù)載均衡，進(jìn)一步提高集群運行效率以及集群性能。本申請還公開了一種任務(wù)調(diào)控裝置、系統(tǒng)以及計算機(jī)可讀存儲介質(zhì)，均具有上述有益效果。

技術(shù)領(lǐng)域

本申請涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種任務(wù)調(diào)控方法，還涉及一種任務(wù)調(diào)控裝置、系統(tǒng)以及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

ES(Elasticsearch)是一種分布式全文數(shù)據(jù)庫系統(tǒng)服務(wù)，對于其數(shù)據(jù)平衡和索引讀寫機(jī)制，當(dāng)有新的ES服務(wù)節(jié)點加入集群時，由于該節(jié)點的服務(wù)和數(shù)據(jù)存儲均為空閑狀態(tài)，會導(dǎo)致觸發(fā)ES的Rebalance分片再平衡機(jī)制，以將集群中已經(jīng)存在的索引數(shù)據(jù)根據(jù)節(jié)點負(fù)載情況均衡轉(zhuǎn)移至新增的節(jié)點服務(wù)。然而，如果此時集群同樣存在大量的索引創(chuàng)建寫入任務(wù)，由于新加入節(jié)點的空閑狀態(tài)會導(dǎo)致新的索引創(chuàng)建和寫入任務(wù)也會大量出現(xiàn)在該節(jié)點，不僅會導(dǎo)致新加入節(jié)點短時間內(nèi)負(fù)載過大，也可能會因為吸引了過多的全新索引創(chuàng)建寫入任務(wù)，導(dǎo)致其它正常節(jié)點的任務(wù)空閑，從而引起整個集群性能出現(xiàn)短時降低的情況，嚴(yán)重影響集群運行效率以及集群自身性能。

因此，如何有效實現(xiàn)集群中的任務(wù)調(diào)控，提高集群運行效率，保證集群性能是本領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

本申請的目的是提供一種任務(wù)調(diào)控方法，該任務(wù)調(diào)控方法可以有效實現(xiàn)集群系統(tǒng)中的任務(wù)調(diào)控，保證負(fù)載均衡，進(jìn)一步提高集群運行效率以及集群性能；本申請的另一目的是提供一種任務(wù)調(diào)控裝置、系統(tǒng)以及計算機(jī)可讀存儲介質(zhì)，也具有上述有益效果。

第一方面，本申請?zhí)峁┝艘环N任務(wù)調(diào)控方法，包括：

對集群節(jié)點進(jìn)行實時監(jiān)控，獲得各節(jié)點的監(jiān)控信息；

根據(jù)所述監(jiān)控信息判斷所述節(jié)點是否為新增節(jié)點；

若是，則獲取所述新增節(jié)點對應(yīng)的標(biāo)準(zhǔn)閾值信息；

根據(jù)所述標(biāo)準(zhǔn)閾值信息和所述監(jiān)控信息對所述新增節(jié)點進(jìn)行任務(wù)調(diào)控。

優(yōu)選的，所述對集群節(jié)點進(jìn)行監(jiān)控，獲得各節(jié)點的監(jiān)控信息，包括：

對所述節(jié)點對應(yīng)的機(jī)器運行過程進(jìn)行監(jiān)控，獲得外部資源數(shù)據(jù)；

對所述節(jié)點中的任務(wù)執(zhí)行過程進(jìn)行監(jiān)控，獲得內(nèi)部運行數(shù)據(jù)；

對所述外部資源數(shù)據(jù)和所述內(nèi)部運行數(shù)據(jù)進(jìn)行封裝，獲得所述監(jiān)控信息。

優(yōu)選的，所述根據(jù)所述標(biāo)準(zhǔn)閾值信息和所述監(jiān)控信息對所述新增節(jié)點進(jìn)行任務(wù)調(diào)控，包括：

關(guān)閉主分片寫入操作；

根據(jù)所述標(biāo)準(zhǔn)閾值信息和所述監(jiān)控信息對副分片寫入操作的操作數(shù)量進(jìn)行控制。

優(yōu)選的，所述根據(jù)所述標(biāo)準(zhǔn)閾值信息和所述監(jiān)控信息對副分片寫入操作的操作數(shù)量進(jìn)行控制，包括：

當(dāng)所述監(jiān)控信息未超出所述標(biāo)準(zhǔn)閾值信息時，開啟所述副分片寫入操作；

當(dāng)所述監(jiān)控信息超出所述標(biāo)準(zhǔn)閾值信息時，關(guān)閉所述副分片寫入操作。

優(yōu)選的，所述任務(wù)調(diào)控方法還包括：

將所述監(jiān)控信息實時存儲至預(yù)設(shè)存儲空間。

優(yōu)選的，所述任務(wù)調(diào)控方法還包括：

根據(jù)所述預(yù)設(shè)存儲空間的歷史監(jiān)控信息統(tǒng)計監(jiān)控信息變化趨勢；

判斷所述監(jiān)控信息變化趨勢是否趨于穩(wěn)定，若是，則開啟所述主分片寫入操作。