[發(fā)明專(zhuān)利]一種多網(wǎng)絡(luò)連接應(yīng)用的資源分配方法、系統(tǒng)及相關(guān)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010616616.7
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111813546B
• 公開(kāi)（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 張曉萌;孟祥瑞
• 申請(qǐng)（專(zhuān)利權(quán)）人: 濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 高勇

本申請(qǐng)?zhí)峁┮环N多網(wǎng)絡(luò)連接應(yīng)用的資源分配方法，包括：獲取各業(yè)務(wù)的消息數(shù)據(jù)流量；確定各所述業(yè)務(wù)的數(shù)據(jù)流量占總數(shù)據(jù)流量的百分比；根據(jù)業(yè)務(wù)標(biāo)識(shí)字段對(duì)所述業(yè)務(wù)分類(lèi)確定各所述業(yè)務(wù)的業(yè)務(wù)類(lèi)型，并根據(jù)所述業(yè)務(wù)類(lèi)型為各所述業(yè)務(wù)分配對(duì)應(yīng)的業(yè)務(wù)負(fù)載和對(duì)應(yīng)的業(yè)務(wù)優(yōu)先級(jí)；以所述百分比、所述業(yè)務(wù)負(fù)載和所述業(yè)務(wù)優(yōu)先級(jí)為參數(shù)計(jì)算得到每個(gè)業(yè)務(wù)對(duì)應(yīng)的狀態(tài)因子；根據(jù)所述狀態(tài)因子對(duì)所述業(yè)務(wù)進(jìn)行工作者線程池分配。本申請(qǐng)保證系統(tǒng)總是占有最少的計(jì)算資源，同時(shí)保證不同業(yè)務(wù)被處理時(shí)滿(mǎn)足業(yè)務(wù)的時(shí)效性要求。本申請(qǐng)還提供一種多網(wǎng)絡(luò)連接應(yīng)用的資源分配系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和服務(wù)器，具有上述有益效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及服務(wù)器領(lǐng)域，特別涉及一種多網(wǎng)絡(luò)連接應(yīng)用的資源分配方法、系統(tǒng)及相關(guān)裝置。

背景技術(shù)

網(wǎng)絡(luò)編程模型的演進(jìn)一直是與其所支持的業(yè)務(wù)的模型緊密相關(guān)的。當(dāng)系統(tǒng)中各個(gè)節(jié)點(diǎn)所處理的連接數(shù)迅速膨脹但還處于可控的規(guī)模的情況下，用一個(gè)線程來(lái)處理一個(gè)連接的模式使用主線程處理新建連接并分配一個(gè)新的線程給這個(gè)新的連接使用，連接之間互不干擾。到了需要處理C10K問(wèn)題的時(shí)候，網(wǎng)絡(luò)連接數(shù)及網(wǎng)絡(luò)性能已經(jīng)成了所有系統(tǒng)都不能回避的問(wèn)題，一個(gè)線程來(lái)處理一個(gè)連接的模式已經(jīng)無(wú)法滿(mǎn)足條件，應(yīng)用需要為每個(gè)連接分配一個(gè)工作者線程，大量的連接就需要大量的工作者線程，而主機(jī)cpu資源是有限的，大量工作者線程的頻繁切換會(huì)將CPU占滿(mǎn)，上下文切換也很消耗資源，系統(tǒng)性能會(huì)急劇下降，因此Reactor模式應(yīng)運(yùn)而生。

Reactor模式的基礎(chǔ)是IO復(fù)用，不同的操作系統(tǒng)的有不同的實(shí)現(xiàn)組件。Reactor模式解決的就是通過(guò)建立一個(gè)工作者線程池，將所有的連接分配到工作者線程池的不同工作者線程中去處理，減少了工作者線程的數(shù)量，減少了cpu資源的使用，減少了工作者線程之間切換的幾率， 從而有望維持系統(tǒng)的性能在連接數(shù)較大時(shí)不致急劇下降。Reactor模式自身的發(fā)展也經(jīng)歷了單線程模式、工作者線程池模式以及多Reactor的工作者線程模式等三種模式。

目前，基本上所有的大型項(xiàng)目都是用多Reactor的工作者線程模式，其對(duì)Reactor模式進(jìn)行改造，擁有Reactor模式的所有優(yōu)點(diǎn)，并且解決了經(jīng)典Reactor模式無(wú)法解決的在應(yīng)用負(fù)載較大時(shí)新連接無(wú)法及時(shí)建立的問(wèn)題。

Reactor模式及其變種都沒(méi)有解決將連接“均衡地”分配到所有工作者線程的問(wèn)題。很多系統(tǒng)是采用將所有的工作者線程都承載相同數(shù)量的連接的方法，卻并沒(méi)有考慮單個(gè)工作者線程所承載的所有連接各自的數(shù)據(jù)量及其之間的業(yè)務(wù)特性，不同連接擁有不同的數(shù)據(jù)量、不同的業(yè)務(wù)處理邏輯，耗時(shí)較長(zhǎng)的連接可能占據(jù)更多的處理時(shí)間片，其他連接則一直處于饑餓狀態(tài)，延時(shí)增加，吞吐量下降，系統(tǒng)整體性能下降。

發(fā)明內(nèi)容

本申請(qǐng)的目的是提供及一種多網(wǎng)絡(luò)連接應(yīng)用的資源分配方法、系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和服務(wù)器，能夠調(diào)節(jié)業(yè)務(wù)與工作者線程的連接關(guān)系，確保系統(tǒng)性能良好。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┮环N多網(wǎng)絡(luò)連接應(yīng)用的資源分配方法，具體技術(shù)方案如下：

獲取各業(yè)務(wù)的消息數(shù)據(jù)流量；

確定各所述業(yè)務(wù)的數(shù)據(jù)流量占總數(shù)據(jù)流量的百分比；

根據(jù)業(yè)務(wù)標(biāo)識(shí)字段對(duì)所述業(yè)務(wù)分類(lèi)確定各所述業(yè)務(wù)的業(yè)務(wù)類(lèi)型，并根據(jù)所述業(yè)務(wù)類(lèi)型為各所述業(yè)務(wù)分配對(duì)應(yīng)的業(yè)務(wù)負(fù)載和對(duì)應(yīng)的業(yè)務(wù)優(yōu)先級(jí)；

以所述百分比、所述業(yè)務(wù)負(fù)載和所述業(yè)務(wù)優(yōu)先級(jí)為參數(shù)計(jì)算得到每個(gè)業(yè)務(wù)對(duì)應(yīng)的狀態(tài)因子；所述狀態(tài)因子包括負(fù)載因子和優(yōu)先級(jí)因子；

根據(jù)所述狀態(tài)因子對(duì)所述業(yè)務(wù)進(jìn)行工作者線程池分配。

可選的，獲取各業(yè)務(wù)的消息數(shù)據(jù)流量之后，還包括：

在各所述業(yè)務(wù)的消息包添加業(yè)務(wù)標(biāo)識(shí)字段，以便執(zhí)行對(duì)所述業(yè)務(wù)按照業(yè)務(wù)標(biāo)識(shí)分類(lèi)的步驟。

可選的，若所述工作者線程池包括三組線程池，則根據(jù)所述狀態(tài)因子對(duì)所述業(yè)務(wù)進(jìn)行工作者線程池分配包括：