[發(fā)明專利]一種異步消息場(chǎng)景下的數(shù)據(jù)處理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011302692.7
• 申請(qǐng)日: 2020-11-19
• 公開（公告）號(hào): CN112367333B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 辛存生;沈桐;閻志軍;李一萌;李擁杰;歐陽鵬;李博洋;傅超;焦會(huì)英
• 申請(qǐng)（專利權(quán)）人: 國網(wǎng)匯通金財(cái)（北京）信息科技有限公司;國網(wǎng)電子商務(wù)有限公司;國網(wǎng)雄安金融科技集團(tuán)有限公司;國家電網(wǎng)有限公司
• 主分類號(hào): H04L69/16
• 分類號(hào): H04L69/16;H04L67/146;H04L67/568
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 錢娜

本發(fā)明公開了一種異步消息場(chǎng)景下的數(shù)據(jù)處理方法及系統(tǒng)，在異步消息的場(chǎng)景下，當(dāng)服務(wù)端為集群模式時(shí)，能夠通過獲取服務(wù)端的唯一標(biāo)識(shí)，在異步消息的處理和傳遞過程中，攜帶服務(wù)端的唯一標(biāo)識(shí)，當(dāng)消息進(jìn)行回傳時(shí)，可以明確回傳消息對(duì)應(yīng)的目標(biāo)服務(wù)端節(jié)點(diǎn)，確保了服務(wù)端接收到的數(shù)據(jù)經(jīng)過異步消息處理和回傳后能夠返回給原服務(wù)端；另外，通過建立請(qǐng)求唯一標(biāo)識(shí)和socket連接的一對(duì)一的映射關(guān)系并緩存在服務(wù)端中，并將請(qǐng)求唯一標(biāo)識(shí)貫穿到整個(gè)異步消息調(diào)用鏈條中，當(dāng)服務(wù)端接收到回傳消息取出請(qǐng)求唯一標(biāo)識(shí)后就可以根據(jù)映射關(guān)系獲取到此請(qǐng)求唯一標(biāo)識(shí)對(duì)應(yīng)的socket連接。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)服務(wù)技術(shù)領(lǐng)域，尤其涉及一種異步消息場(chǎng)景下的數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)

在網(wǎng)絡(luò)服務(wù)架構(gòu)的設(shè)計(jì)與建設(shè)中，服務(wù)端接收到網(wǎng)絡(luò)請(qǐng)求，與客戶端建立連接，在進(jìn)行一系列數(shù)據(jù)計(jì)算后，會(huì)利用原連接將結(jié)果數(shù)據(jù)返回給客戶端。但是，在某些特定的較為復(fù)雜的涉及長鏈條的異步數(shù)據(jù)處理模型下，如何將異步處理的結(jié)果數(shù)據(jù)關(guān)聯(lián)到原網(wǎng)絡(luò)連接后返回給客戶端成為了技術(shù)難點(diǎn)。

如圖1所示，Server?Cluster代表網(wǎng)絡(luò)服務(wù)端集群，單個(gè)服務(wù)端節(jié)點(diǎn)(Servernode)接收到客戶端(client)的網(wǎng)絡(luò)請(qǐng)求，與客戶端建立連接后，將數(shù)據(jù)傳遞(下放)給下游的異步消息處理系統(tǒng)集群(Asyn?Message?Process?System?Cluster)，當(dāng)異步處理結(jié)束后異步消息處理系統(tǒng)集群如何將結(jié)果數(shù)據(jù)回傳給原下放服務(wù)端成為了問題。

與此同時(shí)，由于原服務(wù)端節(jié)點(diǎn)會(huì)與多個(gè)客戶端建立網(wǎng)絡(luò)連接，當(dāng)其獲取到異步消息處理系統(tǒng)集群的結(jié)果數(shù)據(jù)后，如何獲取到原請(qǐng)求對(duì)應(yīng)的連接也成為了問題。

另外，為了應(yīng)用在高并發(fā)場(chǎng)景時(shí)仍然對(duì)計(jì)算效率和運(yùn)行性能有一定的保證，服務(wù)架構(gòu)設(shè)計(jì)需要對(duì)I/O模式和網(wǎng)絡(luò)I/O模型的選擇進(jìn)行充分考慮。如果使用傳統(tǒng)的BIO網(wǎng)絡(luò)I/O模型，由于數(shù)據(jù)處理鏈條很長，服務(wù)端會(huì)為每個(gè)網(wǎng)絡(luò)請(qǐng)求建立單獨(dú)的處理線程進(jìn)行計(jì)算，加上長鏈條的數(shù)據(jù)處理，會(huì)造成眾多線程在多個(gè)處理環(huán)節(jié)進(jìn)入高度阻塞并且難以釋放，浪費(fèi)系統(tǒng)資源，甚至拖垮整個(gè)服務(wù)。

因此，如何將異步處理的結(jié)果數(shù)據(jù)關(guān)聯(lián)到原網(wǎng)絡(luò)連接后返回給客戶端，是一項(xiàng)亟待解決的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種異步消息場(chǎng)景下的數(shù)據(jù)處理方法，能夠?qū)惒教幚淼慕Y(jié)果數(shù)據(jù)關(guān)聯(lián)到原網(wǎng)絡(luò)連接后返回給客戶端。

本發(fā)明提供了一種異步消息場(chǎng)景下的數(shù)據(jù)處理方法，應(yīng)用于服務(wù)端，所述方法包括：

獲取客戶端發(fā)送的網(wǎng)絡(luò)請(qǐng)求；

基于所述網(wǎng)絡(luò)請(qǐng)求讀取請(qǐng)求數(shù)據(jù)，從所述請(qǐng)求數(shù)據(jù)中抽取請(qǐng)求唯一標(biāo)識(shí)；

將所述請(qǐng)求唯一標(biāo)識(shí)與socket連接的映射關(guān)系緩存至服務(wù)端；

獲取所述服務(wù)端的唯一標(biāo)識(shí)；

將所述請(qǐng)求唯一標(biāo)識(shí)和所述服務(wù)端的唯一標(biāo)識(shí)組裝成消息后發(fā)送至異步消息處理系統(tǒng)，其中，所述消息的主題為所述服務(wù)端的唯一標(biāo)識(shí)，以使所述異步消息處理系統(tǒng)基于接收到的所述消息生成回傳數(shù)據(jù)，將所述請(qǐng)求唯一標(biāo)識(shí)組裝進(jìn)回傳消息中，并將所述回傳消息發(fā)送到主題為所述服務(wù)端的唯一標(biāo)識(shí)的主題中；

接收所述異步消息處理系統(tǒng)發(fā)送的所述回傳消息；

提取所述回傳消息中的所述請(qǐng)求唯一標(biāo)識(shí)；

基于緩存的所述請(qǐng)求唯一標(biāo)識(shí)與socket連接的映射關(guān)系，獲取與所述請(qǐng)求唯一標(biāo)識(shí)對(duì)應(yīng)的socket連接；

基于獲取到的與所述請(qǐng)求唯一標(biāo)識(shí)對(duì)應(yīng)的socket連接，將所述回傳數(shù)據(jù)發(fā)送至所述客戶端。

優(yōu)選地，所述方法還包括：

當(dāng)socket連接超時(shí)時(shí)，清除緩存的所述socket連接與所述請(qǐng)求唯一標(biāo)識(shí)的映射關(guān)系；