[發(fā)明專利]一種應(yīng)用程序高并發(fā)高負(fù)荷處理方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710678339.0
• 申請日: 2017-08-10
• 公開（公告）號: CN107231443A
• 公開（公告）日: 2017-10-03
• 發(fā)明（設(shè)計(jì)）人: 李綠波
• 申請（專利權(quán)）人: 深圳市中青合創(chuàng)傳媒科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京匯眾通達(dá)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11622
• 代理人: 梁明升

技術(shù)領(lǐng)域

本發(fā)明涉及移動(dòng)終端應(yīng)用程序技術(shù)領(lǐng)域，特別是涉及一種應(yīng)用程序高并發(fā)高負(fù)荷處理方法和系統(tǒng)。

背景技術(shù)

隨著網(wǎng)絡(luò)信息技術(shù)的不斷進(jìn)步，移動(dòng)終端應(yīng)用程序也得以快速發(fā)展，以滿足人們多樣化需求，而隨之而來的也是業(yè)務(wù)的不斷增長，用戶基數(shù)越來越大、訪問量越來越高，有的應(yīng)用程序從一開始設(shè)計(jì)的系統(tǒng)架構(gòu)己經(jīng)不能再支撐百萬級的訪問量，產(chǎn)品表現(xiàn)得越來越慢，消耗資源越來越高，用戶等待時(shí)間越來越長。面對這類問題目前的一種有效解決方式是負(fù)載均衡，即在服務(wù)器集群中，設(shè)置一臺服務(wù)器充當(dāng)調(diào)度者的角色，用戶的所有請求都會(huì)首先由它接收，調(diào)度者再根據(jù)每臺服務(wù)器的負(fù)載情況將請求分配給某一臺后端服務(wù)器去處理，在這個(gè)過程中，調(diào)度者如何合理分配任務(wù)，保證所有后端服務(wù)器都將性能充分發(fā)揮，從而保持服務(wù)器集群的整體性能最優(yōu)。采用負(fù)載均衡雖然能夠一定程度上緩解相應(yīng)問題，但是面對數(shù)量級增長的用戶訪問還是顯得不夠。這是IT行業(yè)一些開發(fā)產(chǎn)品的瓶頸通病，在高并發(fā)、高訪問、高負(fù)荷壓力下出現(xiàn)響應(yīng)延遲甚至無法響應(yīng)，使用戶失去耐心等待而棄用該產(chǎn)品。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種應(yīng)用程序高并發(fā)高負(fù)荷處理方法和系統(tǒng)，以解決現(xiàn)有技術(shù)中的一些應(yīng)用程序在高并發(fā)、高負(fù)荷壓力下無法快速響應(yīng)的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種應(yīng)用程序高并發(fā)高負(fù)荷處理方法，包括步驟：

以Protocol Buffers數(shù)據(jù)替代json數(shù)據(jù)作為后端API跟客戶端交互的數(shù)據(jù)傳輸方式；

通過redis集群將數(shù)據(jù)交由后端API返回到客戶端；

通過高速消息隊(duì)列kafka來聯(lián)接任務(wù)調(diào)度系統(tǒng)。

其中，所述步驟通過高速消息隊(duì)列kafka來聯(lián)接任務(wù)調(diào)度系統(tǒng)，還包括步驟：

使日志文件根據(jù)broker中的配置要求，將被消費(fèi)消息保留預(yù)定的時(shí)間之后刪除。

其中，所述步驟通過高速消息隊(duì)列kafka來聯(lián)接任務(wù)調(diào)度系統(tǒng)還包括步驟：

使consumer保存被消費(fèi)消息的offset，并控制offset的保存和使用。

其中，所述步驟通過高速消息隊(duì)列kafka來聯(lián)接任務(wù)調(diào)度系統(tǒng)還包括步驟：

使consumer和producer的狀態(tài)信息由zookeeper保存。

其中，所述步驟通過redis集群將數(shù)據(jù)交由后端API返回到客戶端，還包括步驟：

Redis集群支持?jǐn)?shù)據(jù)從主服務(wù)器向任意數(shù)量的從服務(wù)器上同步。

本發(fā)明實(shí)施例還提供一種應(yīng)用程序高并發(fā)高負(fù)荷處理系統(tǒng)，與客戶端、后端API數(shù)據(jù)連接，包括Protocol Buffers數(shù)據(jù)傳輸模塊、redis集群模塊、高速消息隊(duì)列kafka模塊和任務(wù)調(diào)度系統(tǒng)；

所述Protocol Buffers數(shù)據(jù)傳輸模塊，用于以Protocol Buffers數(shù)據(jù)替代json數(shù)據(jù)作為后端API跟客戶端交互的數(shù)據(jù)傳輸方式；

所述redis集群模塊，用于通過redis集群將數(shù)據(jù)交由后端API返回到客戶端；

所述高速消息隊(duì)列kafka模塊，用于通過高速消息隊(duì)列kafka來聯(lián)接所述任務(wù)調(diào)度系統(tǒng)。

其中，所述高速消息隊(duì)列kafka模塊，還用于使日志文件根據(jù)broker中的配置要求，將被消費(fèi)消息保留預(yù)定的時(shí)間之后刪除。

其中，所述高速消息隊(duì)列kafka模塊，還用于使consumer保存被消費(fèi)消息的offset，并控制offset的保存和使用。

其中，所述高速消息隊(duì)列kafka模塊，還用于使consumer和producer的狀態(tài)信息由zookeeper保存。

其中，所述redis集群模塊，還用于支持?jǐn)?shù)據(jù)從主服務(wù)器向任意數(shù)量的從服務(wù)器上同步。