[發(fā)明專利]基于統(tǒng)一協(xié)議的高并發(fā)環(huán)境下數(shù)據(jù)傳輸方法及裝置

在審

• 申請?zhí)枺?/td>: 201911050212.X
• 申請日: 2019-10-31
• 公開（公告）號: CN112383487A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 夏秀江;董偉;李大鵬;王曉東
• 申請（專利權(quán)）人: 北京城建設(shè)計(jì)發(fā)展集團(tuán)股份有限公司
• 主分類號: H04L12/851
• 分類號: H04L12/851;H04L12/863;H04L12/865;H04L12/823;H04L12/951
• 代理公司: 北京天奇智新知識產(chǎn)權(quán)代理有限公司 11340
• 代理人: 李振文

本發(fā)明涉及一種數(shù)據(jù)傳輸方法及裝置，尤其是涉及一種基于統(tǒng)一協(xié)議的高并發(fā)環(huán)境下數(shù)據(jù)傳輸方法及裝置。包括：數(shù)據(jù)分級步驟，在發(fā)送端根據(jù)業(yè)務(wù)類型對待發(fā)送數(shù)據(jù)包進(jìn)行分級；數(shù)據(jù)發(fā)送步驟，按照劃定的優(yōu)選級，對數(shù)據(jù)包進(jìn)行排序，將優(yōu)先級較高的數(shù)據(jù)包先送入至待發(fā)送隊(duì)列中；因此，本發(fā)明具有如下優(yōu)點(diǎn)：1.非重要數(shù)據(jù)抑制，減輕接收服務(wù)器的壓力；2.將數(shù)據(jù)包拆分整合，合并為一個(gè)個(gè)大小相對穩(wěn)定的包，保證傳輸穩(wěn)定；3.壓力分給了發(fā)送端一部分，另兩服務(wù)器更加穩(wěn)定；4.數(shù)據(jù)入庫速度明顯加快。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)傳輸方法及裝置，尤其是涉及一種基于統(tǒng)一協(xié)議的高并發(fā)環(huán)境下數(shù)據(jù)傳輸方法及裝置。

背景技術(shù)

隨著云計(jì)算、大數(shù)據(jù)時(shí)代的來臨,每天都會產(chǎn)生海量的數(shù)據(jù),應(yīng)用需求存在著大量的并發(fā)數(shù)據(jù)訪問。與此同時(shí),以多核心處理器、大內(nèi)存為趨勢的硬件升級,為解決大規(guī)模并發(fā)數(shù)據(jù)處理問題提供了硬件基礎(chǔ)。數(shù)據(jù)庫事務(wù)處理是我們使用相當(dāng)頻繁的數(shù)據(jù)庫操作,需要滿足ACID(原子性、一致性、隔離性和持久性)原則。在傳統(tǒng)數(shù)據(jù)庫的事務(wù)處理中,是采用加鎖的方式來進(jìn)行控制的,通過共享鎖和排他鎖等鎖機(jī)制,來保證事務(wù)的可串行化。在當(dāng)前需要處理海量并發(fā)的環(huán)境下,傳統(tǒng)的加鎖機(jī)制無法滿足對事務(wù)處理吞吐量的需求,同時(shí)也存在資源浪費(fèi),不能有效發(fā)揮現(xiàn)有硬件條件應(yīng)該具有的數(shù)據(jù)處理能力。

在設(shè)備都應(yīng)用統(tǒng)一協(xié)議連通的情況下，設(shè)備間存在大量數(shù)據(jù)交互，數(shù)據(jù)無時(shí)無刻不在被塞到另一個(gè)設(shè)備中，產(chǎn)生大量并發(fā)，同時(shí)產(chǎn)生大量數(shù)據(jù)，數(shù)據(jù)集中傳輸導(dǎo)致了很多問題，并不能很好的利用傳輸資源，同時(shí)數(shù)據(jù)中存在大量非重要數(shù)據(jù)，對于數(shù)據(jù)統(tǒng)計(jì)，數(shù)據(jù)分析產(chǎn)生不好的影響，如果能夠區(qū)分?jǐn)?shù)據(jù)的可用性同時(shí)抑制非重要數(shù)據(jù)的上傳，就既能降低一部分高并發(fā)的壓力，同時(shí)完成數(shù)據(jù)清洗，保證數(shù)據(jù)的可靠性。

現(xiàn)有技術(shù)中采用垂直擴(kuò)展的方式，即提升單機(jī)處理能力來提高數(shù)據(jù)傳輸效率，簡單來說就是增加單線程的處理能力，處理速度，讓每條數(shù)據(jù)處理周期變短。垂直擴(kuò)展的方式又有兩種：

(1)增強(qiáng)單機(jī)硬件性能，例如：增加CPU核數(shù)如32核，升級更好的網(wǎng)卡如萬兆，升級更好的硬盤如SSD，擴(kuò)充硬盤容量如2T，擴(kuò)充系統(tǒng)內(nèi)存如128G；

(2)提升單機(jī)架構(gòu)性能，例如：使用Cache來減少IO次數(shù)，使用異步來增加單服務(wù)吞吐量，使用無鎖數(shù)據(jù)結(jié)構(gòu)來減少響應(yīng)時(shí)間；

在線程池容量有限的情況下,最大限度地提升線程池的并發(fā)能力,在資源消耗和線程池并發(fā)能力之間做了很好的平衡。但是，單機(jī)性能總是有極限的，無論使用多先進(jìn)的物理機(jī)器，終究單機(jī)的極限太低，垂直擴(kuò)展的方式一般只能應(yīng)用在并發(fā)量相對能夠控制的情況。

現(xiàn)有技術(shù)中采用水平擴(kuò)展的方式，即采用負(fù)載均衡算法幫助合理優(yōu)化服務(wù)器集群的任務(wù)分配問題,從而使服務(wù)器集群的性能達(dá)到最優(yōu)化,使得企業(yè)能夠有效地處理大用戶量的高并發(fā)訪問。

水平擴(kuò)展只要增加服務(wù)器數(shù)量，就能線性擴(kuò)充系統(tǒng)性能。水平擴(kuò)展對系統(tǒng)架構(gòu)設(shè)計(jì)是有要求的。這就是我們常聽說的負(fù)載均衡，利用反向代理層，將請求信息分發(fā)到不通的服務(wù)器，降低單臺機(jī)器的請求數(shù)。

高可用相關(guān)的技術(shù)以及架構(gòu)，對于大型復(fù)雜的分布式系統(tǒng)，也是非常的重要。高可用架構(gòu)中，非常重要的一個(gè)環(huán)節(jié)，就是如何將分布式系統(tǒng)中的各個(gè)服務(wù)打造成高可用的服務(wù)，足以應(yīng)對分布式系統(tǒng)中各種各樣的異常問題，比如服務(wù)間調(diào)用超時(shí)或者失敗。這就涉及到了高可用分布式系統(tǒng)中的很多重要的技術(shù)，包括資源隔離，限流與過載保護(hù)，熔斷，優(yōu)雅降級，容錯(cuò)，超時(shí)控制，監(jiān)控運(yùn)維，等等。在采用水平擴(kuò)展的情況下，當(dāng)服務(wù)器連接發(fā)送大量數(shù)據(jù)，直接上傳服務(wù)器，浪費(fèi)了很大一部分資源。

發(fā)明內(nèi)容

本發(fā)明主要是解決現(xiàn)有技術(shù)所存在的大量數(shù)據(jù)上行導(dǎo)致無用數(shù)據(jù)增加，影響數(shù)據(jù)統(tǒng)計(jì)，數(shù)據(jù)分析等技術(shù)問題，提出了一種基于統(tǒng)一協(xié)議的高并發(fā)環(huán)境下數(shù)據(jù)傳輸方法及裝置。該方法及裝置從根本上緩解服務(wù)器壓力，充分利用資源。

本發(fā)明的上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的：