[發(fā)明專利]一種大數(shù)據(jù)排序方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710320122.2
• 申請(qǐng)日: 2017-05-09
• 公開（公告）號(hào): CN108874798B
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 樊宇
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/903
• 分類號(hào): G06F16/903
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 謝安昆;宋志強(qiáng)

本申請(qǐng)?zhí)峁┝艘环N大數(shù)據(jù)排序方法和系統(tǒng)。針對(duì)一個(gè)應(yīng)用進(jìn)行大數(shù)據(jù)排序時(shí)，讀取排序數(shù)據(jù)設(shè)備根據(jù)該應(yīng)用對(duì)應(yīng)的文件數(shù)目和文件大小，啟動(dòng)N個(gè)線程同時(shí)讀取數(shù)據(jù)文件的行內(nèi)容，針對(duì)每個(gè)線程進(jìn)行文件的行內(nèi)容的轉(zhuǎn)換獲取待排序的數(shù)據(jù)，并根據(jù)所述待排序的數(shù)據(jù)所屬的數(shù)據(jù)區(qū)間向?qū)?yīng)的數(shù)據(jù)排序設(shè)備發(fā)送數(shù)據(jù)排序請(qǐng)求；數(shù)據(jù)排序設(shè)備將該數(shù)據(jù)排序請(qǐng)求中攜帶的數(shù)據(jù)按照排序規(guī)則進(jìn)行排序；當(dāng)所有數(shù)據(jù)排序設(shè)備完成數(shù)據(jù)排序時(shí)，讀取排序結(jié)果設(shè)備按照數(shù)據(jù)區(qū)間的邊界值的大小和排序規(guī)則，依次從各數(shù)據(jù)區(qū)間對(duì)應(yīng)的排序服務(wù)器上獲取排序后的數(shù)據(jù)，作為該應(yīng)用對(duì)應(yīng)的排序后的數(shù)據(jù)。該方法能夠避免數(shù)據(jù)傾斜問題，且能夠提高數(shù)據(jù)排序效率。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，特別涉及一種大數(shù)據(jù)排序方法和系統(tǒng)。

背景技術(shù)

在大數(shù)據(jù)處理場景中，對(duì)輸入數(shù)據(jù)進(jìn)行排序是一種常用的操作方法，會(huì)遇到待排序數(shù)據(jù)遠(yuǎn)超計(jì)算機(jī)內(nèi)存的情況。

現(xiàn)有的大數(shù)據(jù)排序方法，利用多臺(tái)計(jì)算機(jī)協(xié)同處理，將大數(shù)據(jù)文件拆分為多份，每一份由一臺(tái)計(jì)算機(jī)在內(nèi)存中進(jìn)行排序，再暫存外存，最后再由一臺(tái)計(jì)算機(jī)依次讀取已排序的部分文件，進(jìn)行最終的歸并排序，效率非常很低。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┮环N大數(shù)據(jù)排序方法和系統(tǒng)，能夠避免數(shù)據(jù)傾斜問題，且能夠提高數(shù)據(jù)排序效率。

為解決上述技術(shù)問題，本申請(qǐng)的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種大數(shù)據(jù)排序方法，該方法包括：

針對(duì)一個(gè)應(yīng)用進(jìn)行大數(shù)據(jù)排序時(shí)，讀取排序數(shù)據(jù)設(shè)備根據(jù)該應(yīng)用對(duì)應(yīng)的文件數(shù)目和文件大小，啟動(dòng)N個(gè)線程同時(shí)讀取數(shù)據(jù)文件的行內(nèi)容，針對(duì)每個(gè)線程進(jìn)行文件的行內(nèi)容的轉(zhuǎn)換獲取待排序的數(shù)據(jù)，并根據(jù)所述待排序的數(shù)據(jù)所屬的數(shù)據(jù)區(qū)間向?qū)?yīng)的數(shù)據(jù)排序設(shè)備發(fā)送數(shù)據(jù)排序請(qǐng)求；

數(shù)據(jù)排序設(shè)備接收到讀取排序數(shù)據(jù)設(shè)備發(fā)送的數(shù)據(jù)排序請(qǐng)求時(shí)，將該數(shù)據(jù)排序請(qǐng)求中攜帶的數(shù)據(jù)按照排序規(guī)則進(jìn)行排序；

當(dāng)所有數(shù)據(jù)排序設(shè)備完成數(shù)據(jù)排序時(shí)，讀取排序結(jié)果設(shè)備按照數(shù)據(jù)區(qū)間的邊界值的大小和排序規(guī)則，依次從各數(shù)據(jù)區(qū)間對(duì)應(yīng)的排序服務(wù)器上獲取排序后的數(shù)據(jù)，作為該應(yīng)用對(duì)應(yīng)的排序后的數(shù)據(jù)。

一種大數(shù)據(jù)排序系統(tǒng)，該系統(tǒng)包括：讀取排序數(shù)據(jù)設(shè)備、數(shù)據(jù)排序設(shè)備和讀取排序結(jié)果設(shè)備；

所述讀取排序數(shù)據(jù)設(shè)備，用于針對(duì)一個(gè)應(yīng)用進(jìn)行大數(shù)據(jù)排序時(shí)，根據(jù)該應(yīng)用對(duì)應(yīng)的文件數(shù)目和文件大小，啟動(dòng)N個(gè)線程同時(shí)讀取數(shù)據(jù)文件的行內(nèi)容，針對(duì)每個(gè)線程進(jìn)行文件的行內(nèi)容的轉(zhuǎn)換獲取待排序的數(shù)據(jù)，并根據(jù)所述待排序的數(shù)據(jù)所屬的數(shù)據(jù)區(qū)間向?qū)?yīng)的數(shù)據(jù)排序設(shè)備發(fā)送數(shù)據(jù)排序請(qǐng)求；

所述數(shù)據(jù)排序設(shè)備，用于接收到讀取排序數(shù)據(jù)設(shè)備發(fā)送的數(shù)據(jù)排序請(qǐng)求時(shí)，將該數(shù)據(jù)排序請(qǐng)求中攜帶的數(shù)據(jù)按照排序規(guī)則進(jìn)行排序；

所述讀取排序結(jié)果設(shè)備，用于當(dāng)所有所述數(shù)據(jù)排序設(shè)備完成數(shù)據(jù)排序時(shí)，按照數(shù)據(jù)區(qū)間的邊界值的大小和排序規(guī)則，依次從各數(shù)據(jù)區(qū)間對(duì)應(yīng)的排序服務(wù)器上獲取排序后的數(shù)據(jù)，作為該應(yīng)用對(duì)應(yīng)的排序后的數(shù)據(jù)。

由上面的技術(shù)方案可知，本申請(qǐng)中通過利用多線程網(wǎng)絡(luò)通信在數(shù)據(jù)排序設(shè)備與讀取排序數(shù)據(jù)設(shè)備之間建立連接，讀取排序數(shù)據(jù)設(shè)備對(duì)待排序數(shù)據(jù)進(jìn)行數(shù)據(jù)區(qū)間劃分，并通過寫請(qǐng)求發(fā)送給各數(shù)據(jù)區(qū)間對(duì)應(yīng)的數(shù)據(jù)排序設(shè)備，數(shù)據(jù)排序設(shè)備將待排序數(shù)據(jù)進(jìn)行排序，按數(shù)據(jù)區(qū)間邊界值的大小依次獲取各數(shù)據(jù)排序設(shè)備上的數(shù)據(jù)，進(jìn)而獲得排序完成的數(shù)據(jù)。該方案能夠避免數(shù)據(jù)傾斜問題，且能夠提高數(shù)據(jù)排序效率。

附圖說明

圖1為本申請(qǐng)實(shí)施例中大數(shù)據(jù)排序流程示意圖；

圖2為本申請(qǐng)實(shí)施例中排序服務(wù)發(fā)現(xiàn)設(shè)備調(diào)度實(shí)現(xiàn)大數(shù)據(jù)排序流程示意圖；

圖3為本申請(qǐng)實(shí)施例中排序過程時(shí)序示意圖；

圖4為本申請(qǐng)實(shí)施例中應(yīng)用于上述技術(shù)的系統(tǒng)示意圖。

具體實(shí)施方式