[發明專利]基于MapReduce技術的大數據地址分層調度方法

有效

• 申請號: 201510374579.2
• 申請日: 2015-06-30
• 公開（公告）號: CN104933176B
• 公開（公告）日: 2018-10-12
• 發明（設計）人: 胡自權;徐勇;尹德輝;龍漢安;夏紀毅;王柯
• 申請（專利權）人: 四川醫科大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都高遠知識產權代理事務所(普通合伙) 51222
• 代理人: 謝一平

本發明公開一種基于MapReduce技術的大數據地址分層調度方法,包括構建面向聯系地址的調度表，確定業務地域范圍，在Map階段生成Key和Value，在Reduce階段實現調度分析，逐層向下調度等步驟；本發明實現了面向聯系地址的調度，聯系地址向上可以擴展到國家甚至洲級地址，向下可以延伸至更精準位置，可支持按不同粒度的地址分層調度。

技術領域

本發明涉及一種數據處理方法，尤其涉及一種基于MapReduce技術的大數據地址分層調度方法。

背景技術

地址是指國家、省(自治區或者直轄市或者特別行政區)、市、區(縣)、鎮、街道門牌號(村組)，地址結構具有層次性，可用字符串表示地址，如通信地址、家庭住址、公司地址和單位地址等，現有的基于地址的算法有：磁盤調度、IP調度和GPS調度。

對于磁盤調度(先來先服務算法、最短尋道時間優先算法、掃描算法和循環掃描算法)，磁盤的物理塊地址由柱面號、磁頭號和扇區號構成。完成磁盤某一物理塊的訪問時間包括尋道時間、旋轉時間和讀寫時間，磁盤調度的目標是尋道時間盡量短和吞吐量盡量大。地址，與磁盤的物理塊地址(柱面磁頭扇區)與不同，磁盤調度不適合本專利所述的大數據地址分層調度算法。

對于IP地址調度(IP數據報路由)，按照不同地址分配IP地址段。通過路由器中存儲的路由表，將IP數據報轉發到特定網絡地址的路徑(端口)。IP地址僅僅代表接入互聯網的計算機身份，與本專利所述的聯系地址(國家省市區鎮街道門牌號)不同，IP地址調度算法不適合本專利所述的大數據地址分層調度算法。

對于GPS調度，其終端通過衛星天線接收到衛星信號，自動定位；終端通過GPRS模塊將地址信息發送總控中心；總控中心利用互聯網或者專網提取定位地址，并在電子地圖中顯示出來。GPS定位地址與本專利所述地址基本一致，但GPS定位的地址需要實時快速傳給總控中心，由于定位地址的實時性要求，很難弱化實時性需求(甚至不考慮實時性需求)，不能積累定位數據生成大數據。

發明內容

本發明旨在提供一種基于MapReduce技術的大數據地址分層調度方法，實現了面向聯系地址的調度，聯系地址向上可以擴展到國家甚至洲級地址，向下可以延伸至更精準位置，可支持按不同粒度地址的分層調度。

為達到上述目的，本發明是采用以下技術方案實現的：

本發明公開的基于MapReduce技術的大數據地址分層調度方法,包括以下步驟：

步驟1、構建面向聯系地址的調度表，所述調度表的列族包括問題域的基本信息列族和調度列族，所述基本信息列族包括在Reduce階段要處理的內容和大數據的相關聯系地址列，所述調度列族包括被劃分成粗略地址和詳細地址列的聯系地址，選取能區分大數據記錄的字段作為調度表的行關鍵字，并將行關鍵字放到基本信息列族中；

步驟2、確定業務地域范圍，初始化粗略地址和詳細地址：根據問題域確定業務的地域范圍，將聯系地址的粗略地址和詳細地址寫入到調度表的調度列族的粗略地址和詳細地址列中。

步驟3、在Map階段生成Key和Value：將大數據聯系地址的粗略地址賦值給Key，將行關鍵字+聯系地址+要處理的內容賦值給Value。

步驟4、在Reduce階段實現調度分析：根據Key和Value的聯系地址，輸出下一級地址劃分的粗略地址和詳細地址；

步驟5、逐層向下調度：初始化Job，建立調度表數據庫的連接，將源表和目標表都初始化為調度表表，按大數據的相關聯系地址逐層向下調度，直到最底層聯系地址；否者，重復步驟3至步驟5。

優選的，所述粗略地址包括國家、省或自治區或直轄市或特別行政區、市或縣，所述詳細地址包括區或鎮、街道、小區或門牌號。

優選的，在步驟3中，所述行關鍵字為訂單號或客戶ID號。