[發(fā)明專(zhuān)利]分布式數(shù)據(jù)處理方法、裝置、服務(wù)器和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710783415.4
• 申請(qǐng)日: 2017-09-04
• 公開(kāi)（公告）號(hào): CN107508901B
• 公開(kāi)（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 黃世清
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類(lèi)號(hào): H04L29/08
• 分類(lèi)號(hào): H04L29/08
• 代理公司: 中國(guó)貿(mào)促會(huì)專(zhuān)利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 曹蓓

本申請(qǐng)?zhí)岢鲆环N分布式數(shù)據(jù)處理方法、裝置、服務(wù)器和系統(tǒng)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。本發(fā)明的一種分布式數(shù)據(jù)處理方法包括：任務(wù)分配服務(wù)器根據(jù)數(shù)據(jù)處理服務(wù)器的數(shù)量將待處理數(shù)據(jù)分片，獲取待處理數(shù)據(jù)的分片信息；任務(wù)分配服務(wù)器將各個(gè)分片信息發(fā)送給對(duì)應(yīng)的數(shù)據(jù)處理服務(wù)器，以便數(shù)據(jù)處理服務(wù)器根據(jù)分片信息獲取并處理待處理數(shù)據(jù)分片；任務(wù)分配服務(wù)器根據(jù)各個(gè)數(shù)據(jù)處理服務(wù)器的反饋結(jié)果確定數(shù)據(jù)處理結(jié)果。通過(guò)這樣的方法，能夠基于能夠處理數(shù)據(jù)的服務(wù)器的數(shù)量對(duì)數(shù)據(jù)進(jìn)行分片并將數(shù)據(jù)分配給各個(gè)服務(wù)器進(jìn)行處理，從而能夠減少分布式數(shù)據(jù)處理中除數(shù)據(jù)處理的額外操作，減少額外操作占用的時(shí)長(zhǎng)，從而提高分布式數(shù)據(jù)處理的效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是一種分布式數(shù)據(jù)處理方法、裝置、服務(wù)器和系統(tǒng)。

背景技術(shù)

在通常的軟件開(kāi)發(fā)過(guò)程中，對(duì)于少量數(shù)據(jù)的計(jì)算往往使用單臺(tái)計(jì)算機(jī)即可滿足需求，大規(guī)模的數(shù)據(jù)計(jì)算往往需要使用專(zhuān)門(mén)的大數(shù)據(jù)服務(wù)來(lái)處理。

但是，當(dāng)數(shù)據(jù)量為中等規(guī)模時(shí)，單臺(tái)計(jì)算機(jī)無(wú)法快速處理，大數(shù)據(jù)集群服務(wù)因?yàn)槭褂萌藬?shù)過(guò)多，造成資源緊張，任務(wù)處理緩慢，甚至需要排隊(duì)等待，而等待的時(shí)長(zhǎng)在數(shù)據(jù)處理的整個(gè)過(guò)程中占用比重過(guò)大，降低了數(shù)據(jù)處理的效率。

發(fā)明內(nèi)容

發(fā)明人發(fā)現(xiàn)，大數(shù)據(jù)集群服務(wù)由于前期準(zhǔn)備工作和集群資源統(tǒng)籌規(guī)劃等原因，造成數(shù)據(jù)處理效率低，這一點(diǎn)在數(shù)據(jù)量越小時(shí)表現(xiàn)的越明顯。

本申請(qǐng)的一個(gè)目的在于提高分布式數(shù)據(jù)處理的效率。

根據(jù)本申請(qǐng)的一個(gè)方面，提出一種分布式數(shù)據(jù)處理方法，包括：任務(wù)分配服務(wù)器根據(jù)數(shù)據(jù)處理服務(wù)器的數(shù)量將待處理數(shù)據(jù)平均分片，獲取待處理數(shù)據(jù)的分片信息；任務(wù)分配服務(wù)器將各個(gè)分片信息發(fā)送給對(duì)應(yīng)的數(shù)據(jù)處理服務(wù)器，以便數(shù)據(jù)處理服務(wù)器根據(jù)分片信息獲取并處理待處理數(shù)據(jù)分片；任務(wù)分配服務(wù)器根據(jù)各個(gè)數(shù)據(jù)處理服務(wù)器的反饋結(jié)果確定數(shù)據(jù)處理結(jié)果。

可選地，任務(wù)分配服務(wù)器根據(jù)數(shù)據(jù)處理服務(wù)器的數(shù)量將待處理數(shù)據(jù)平均分片，獲取待處理數(shù)據(jù)的分片信息包括：任務(wù)分配服務(wù)器按照數(shù)據(jù)處理服務(wù)器的數(shù)量將待處理數(shù)據(jù)平均分片，獲取單服務(wù)器處理數(shù)據(jù)的信息；根據(jù)單個(gè)數(shù)據(jù)處理服務(wù)器的預(yù)定線程數(shù)量將單服務(wù)器處理數(shù)據(jù)分片，獲取分片信息。

可選地，任務(wù)分配服務(wù)器按照數(shù)據(jù)處理服務(wù)器的數(shù)量將待處理數(shù)據(jù)平均分片，獲取單服務(wù)器處理數(shù)據(jù)的信息包括：通過(guò)哈希算法為各個(gè)數(shù)據(jù)處理服務(wù)器分配數(shù)據(jù)，獲取初分配單服務(wù)器處理數(shù)據(jù)的信息；通過(guò)數(shù)據(jù)均衡算法處理初分配單服務(wù)器處理數(shù)據(jù)以使數(shù)據(jù)均衡分配，獲取單服務(wù)器處理數(shù)據(jù)的信息。

可選地，任務(wù)分配服務(wù)器將各個(gè)分片信息發(fā)送給對(duì)應(yīng)的數(shù)據(jù)處理服務(wù)器包括：任務(wù)分配服務(wù)器將分片信息以預(yù)定策略存入數(shù)據(jù)庫(kù)中，以便數(shù)據(jù)處理服務(wù)器在監(jiān)聽(tīng)數(shù)據(jù)庫(kù)時(shí)，根據(jù)符合預(yù)定策略的更新信息獲取分片信息。

可選地，數(shù)據(jù)處理服務(wù)器的多個(gè)線程同時(shí)監(jiān)聽(tīng)數(shù)據(jù)庫(kù)；當(dāng)多個(gè)線程均獲取分片信息時(shí)，最先獲取分片信息對(duì)應(yīng)的待處理數(shù)據(jù)分片的線程處理待處理數(shù)據(jù)分片，其他線程繼續(xù)監(jiān)聽(tīng)數(shù)據(jù)庫(kù)；獲取待處理數(shù)據(jù)分片的線程完成待處理數(shù)據(jù)分片后繼續(xù)監(jiān)聽(tīng)數(shù)據(jù)庫(kù)；循環(huán)執(zhí)行上述過(guò)程直至處理完成所有分配給數(shù)據(jù)處理服務(wù)器的待處理數(shù)據(jù)。

可選地，還包括：任務(wù)分配服務(wù)器預(yù)先向各個(gè)數(shù)據(jù)處理服務(wù)器發(fā)送用于處理待處理數(shù)據(jù)的算法或算法標(biāo)識(shí)，以便各個(gè)數(shù)據(jù)處理服務(wù)器采用對(duì)應(yīng)的算法處理待處理數(shù)據(jù)。

可選地，分片信息包括待處理數(shù)據(jù)的來(lái)源信息、數(shù)據(jù)表信息、分片字段信息、過(guò)濾條件信息中的一種或多種，以及目的數(shù)據(jù)處理服務(wù)器的地址信息。

可選地，待處理數(shù)據(jù)包括存儲(chǔ)于數(shù)據(jù)庫(kù)中的數(shù)據(jù)、來(lái)自外部設(shè)備的數(shù)據(jù)以及通過(guò)網(wǎng)絡(luò)獲取的數(shù)據(jù)中的一種或多種。

通過(guò)這樣的方法，能夠基于能夠處理數(shù)據(jù)的服務(wù)器的數(shù)量對(duì)數(shù)據(jù)進(jìn)行分片并將數(shù)據(jù)分配給各個(gè)服務(wù)器進(jìn)行處理，從而能夠降低分布式數(shù)據(jù)處理中數(shù)據(jù)處理以外的操作所占的比重，提高分布式數(shù)據(jù)處理的效率。