[發(fā)明專利]數(shù)據(jù)傳輸方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910746708.4
• 申請(qǐng)日: 2019-08-13
• 公開（公告）號(hào): CN110519242A
• 公開（公告）日: 2019-11-29
• 發(fā)明（設(shè)計(jì)）人: 趙付勝
• 申請(qǐng)（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): H04L29/06
• 分類號(hào): H04L29/06;H04L29/08
• 代理公司: 11646 北京超成律師事務(wù)所
• 代理人: 劉靜<國(guó)際申請(qǐng)>=<國(guó)際公布>=<進(jìn)入國(guó)

本公開提供一種數(shù)據(jù)傳輸方法及裝置，涉及數(shù)據(jù)傳輸技術(shù)領(lǐng)域。該方法中，主節(jié)點(diǎn)通過(guò)接收備用節(jié)點(diǎn)發(fā)送的數(shù)據(jù)請(qǐng)求，數(shù)據(jù)請(qǐng)求包含第一緩沖區(qū)的地址，并根據(jù)數(shù)據(jù)請(qǐng)求，通過(guò)第一RDMA網(wǎng)卡向備用節(jié)點(diǎn)發(fā)送第一緩沖區(qū)中的待傳數(shù)據(jù)，第一緩沖區(qū)的地址為固定地址，使得MPP服務(wù)器系統(tǒng)中的主節(jié)點(diǎn)和備用節(jié)點(diǎn)之間可以實(shí)現(xiàn)基于RDMA技術(shù)，繞過(guò)主節(jié)點(diǎn)和備用節(jié)點(diǎn)中的CPU和高速緩沖存儲(chǔ)器(Cache)而實(shí)現(xiàn)在網(wǎng)絡(luò)傳輸過(guò)程中待傳數(shù)據(jù)的直接傳遞，從而提高了待傳數(shù)據(jù)的傳輸速度；同時(shí)，第一緩沖區(qū)的地址為固定地址還使得主節(jié)點(diǎn)只需完成一次對(duì)待傳數(shù)據(jù)的數(shù)據(jù)源地址注冊(cè)到第一RDMA網(wǎng)卡的操作，減少了由于地址注冊(cè)所造成的額外的開銷和網(wǎng)絡(luò)延時(shí)。

技術(shù)領(lǐng)域

本公開涉及數(shù)據(jù)傳輸技術(shù)領(lǐng)域。具體而言，涉及一種數(shù)據(jù)傳輸方法及裝置。

背景技術(shù)

海量并行處理結(jié)構(gòu)(Massive Parallel Processing，MPP)是一種基于Postgre結(jié)構(gòu)化查詢語(yǔ)言(Postgre Structured Query Language，PostgreSQL)的分布式數(shù)據(jù)庫(kù)集群服務(wù)器系統(tǒng)架構(gòu)，其采用完全無(wú)共享(SharedNothing)架構(gòu)，由多個(gè)對(duì)稱多處理服務(wù)器(Symmetrical Multi-Processing，SMP)通過(guò)節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)連接，組成服務(wù)器系統(tǒng)，其中，節(jié)點(diǎn)代指每個(gè)SMP服務(wù)器。

MPP服務(wù)器系統(tǒng)由主服務(wù)器(Master Server)、備用服務(wù)器(Standby Server)和多個(gè)數(shù)據(jù)服務(wù)器(Segment Server)組成。其中，Master節(jié)點(diǎn)負(fù)責(zé)處理客戶端的請(qǐng)求，分發(fā)執(zhí)行計(jì)劃到各Segment節(jié)點(diǎn)并匯總結(jié)果；同時(shí)，Master節(jié)點(diǎn)還會(huì)基于傳輸控制協(xié)議/因特網(wǎng)互聯(lián)協(xié)議(Transmission Control Protocol/Internet Protocol，TCP/IP)架構(gòu)，通過(guò)流復(fù)制的方式不間斷地將Master節(jié)點(diǎn)的所有事務(wù)日志(xlog)同步至Standby節(jié)點(diǎn)。

但是，現(xiàn)有的TCP/IP協(xié)議架構(gòu)要經(jīng)過(guò)多次內(nèi)存拷貝、中斷處理、以及上下文切換，當(dāng)進(jìn)行大數(shù)據(jù)量插入查詢或者大量客戶端連接時(shí)，節(jié)點(diǎn)互聯(lián)網(wǎng)絡(luò)若出現(xiàn)過(guò)高延遲則會(huì)造成Master節(jié)點(diǎn)和Standby節(jié)點(diǎn)之間流復(fù)制失敗，使得Master節(jié)點(diǎn)不能及時(shí)將事務(wù)日志同步至Standby節(jié)點(diǎn)，導(dǎo)致Master節(jié)點(diǎn)和Standby節(jié)點(diǎn)的數(shù)據(jù)不同步，進(jìn)而引發(fā)MPP服務(wù)器系統(tǒng)產(chǎn)生故障。

發(fā)明內(nèi)容

本公開的目的在于，提供一種數(shù)據(jù)傳輸方法及裝置，用于解決現(xiàn)有MPP服務(wù)器系統(tǒng)中Master節(jié)點(diǎn)不能及時(shí)將事務(wù)日志同步至Standby節(jié)點(diǎn)，導(dǎo)致Master節(jié)點(diǎn)和Standby節(jié)點(diǎn)的數(shù)據(jù)不同步，進(jìn)而引發(fā)MPP服務(wù)器系統(tǒng)產(chǎn)生故障的問(wèn)題。

第一方面，本公開實(shí)施例提供一種數(shù)據(jù)傳輸方法，該方法應(yīng)用于MPP服務(wù)器系統(tǒng)中的主節(jié)點(diǎn)，主節(jié)點(diǎn)設(shè)有第一緩沖區(qū)和第一RDMA網(wǎng)卡，主節(jié)點(diǎn)通過(guò)第一RDMA網(wǎng)卡與備用節(jié)點(diǎn)通信連接；該方法包括：

接收備用節(jié)點(diǎn)發(fā)送的數(shù)據(jù)請(qǐng)求，數(shù)據(jù)請(qǐng)求包含第一緩沖區(qū)的地址；

根據(jù)數(shù)據(jù)請(qǐng)求，通過(guò)第一RDMA網(wǎng)卡向備用節(jié)點(diǎn)發(fā)送第一緩沖區(qū)中的待傳數(shù)據(jù)，第一緩沖區(qū)的地址為固定地址。

可選地，上述接收備用節(jié)點(diǎn)發(fā)送的數(shù)據(jù)請(qǐng)求之前，該方法還包括：

接收到備用節(jié)點(diǎn)發(fā)送的連接請(qǐng)求后，采用固定地址的內(nèi)存空間建立第一緩沖區(qū)；

將第一緩沖區(qū)的地址注冊(cè)至第一RDMA網(wǎng)卡；

通過(guò)第一RDMA網(wǎng)卡向備用節(jié)點(diǎn)發(fā)送第一緩沖區(qū)的地址。

可選地，上述接收備用節(jié)點(diǎn)發(fā)送的數(shù)據(jù)請(qǐng)求之前，該方法還包括：

將原始數(shù)據(jù)切分為多個(gè)預(yù)設(shè)大小的數(shù)據(jù)塊；

封裝每個(gè)數(shù)據(jù)塊，得到封裝后的數(shù)據(jù)塊作為待傳數(shù)據(jù)拷貝至第一緩沖區(qū)。