[發(fā)明專利]基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法

有效

• 申請?zhí)枺?/td>: 201510374579.2
• 申請日: 2015-06-30
• 公開（公告）號: CN104933176B
• 公開（公告）日: 2018-10-12
• 發(fā)明（設(shè)計）人: 胡自權(quán);徐勇;尹德輝;龍漢安;夏紀(jì)毅;王柯
• 申請（專利權(quán)）人: 四川醫(yī)科大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都高遠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51222
• 代理人: 謝一平

1.基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法,其特征在于，包括以下步驟：

步驟1、構(gòu)建面向聯(lián)系地址的調(diào)度表，所述調(diào)度表的列族包括問題域的基本信息列族和調(diào)度列族，所述基本信息列族包括在Reduce階段要處理的內(nèi)容和大數(shù)據(jù)的相關(guān)聯(lián)系地址列，所述調(diào)度列族包括被劃分成粗略地址和詳細地址的聯(lián)系地址，選取能區(qū)分大數(shù)據(jù)記錄的字段作為調(diào)度表的行關(guān)鍵字，并將行關(guān)鍵字放到基本信息列族中；

步驟2、確定業(yè)務(wù)地域范圍，初始化粗略地址和詳細地址：根據(jù)問題域確定業(yè)務(wù)的地域范圍，將聯(lián)系地址的粗略地址和詳細地址寫入到調(diào)度表的調(diào)度列族的粗略地址和詳細地址列中；

步驟3、在Map階段生成Key和Value：將大數(shù)據(jù)聯(lián)系地址的粗略地址賦值給Key，將行關(guān)鍵字+聯(lián)系地址+要處理的內(nèi)容賦值給Value；

步驟4、在Reduce階段實現(xiàn)調(diào)度分析：根據(jù)Key和Value的聯(lián)系地址，輸出下一級地址劃分的粗略地址和詳細地址；

步驟5、逐層向下調(diào)度：初始化Job，建立調(diào)度表數(shù)據(jù)庫的連接，將源表和目標(biāo)表都初始化為調(diào)度表表，按大數(shù)據(jù)的相關(guān)聯(lián)系地址逐層向下調(diào)度，直到最底層聯(lián)系地址；否者，重復(fù)步驟3至步驟5。

2.根據(jù)權(quán)利要求1所述的基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法，其特征在于：所述粗略地址包括國家、省或自治區(qū)或直轄市或特別行政區(qū)、市或縣，所述詳細地址包括區(qū)或鎮(zhèn)、街道、小區(qū)或門牌號。

3.根據(jù)權(quán)利要求1所述的基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法，其特征在于：在步驟3中，所述行關(guān)鍵字為訂單號或客戶ID號。

4.根據(jù)權(quán)利要求1所述的基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法，其特征在于：所述調(diào)度表HBase調(diào)度表。

5.根據(jù)權(quán)利要求1所述的基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法，其特征在于：在步驟1中，對于已有大數(shù)據(jù)，利用ETL工具將大數(shù)據(jù)導(dǎo)入到調(diào)度表。

6.根據(jù)權(quán)利要求1所述的基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法，其特征在于：當(dāng)業(yè)務(wù)面向全球時，選取聯(lián)系地址的國家地址為粗略地址，聯(lián)系地址剩余部分為詳細地址。

7.根據(jù)權(quán)利要求1所述的基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法，其特征在于：當(dāng)業(yè)務(wù)在國內(nèi)時，選取聯(lián)系地址的省或自治區(qū)或直轄市或特別行政區(qū)為粗略地址，聯(lián)系地址剩余部分為詳細地址。

8.根據(jù)權(quán)利要求1所述的基于MapReduce技術(shù)的大數(shù)據(jù)地址分層調(diào)度方法，其特征在于：所述詳細地址包括貨位號；所述要處理的內(nèi)容包括存貨量。