[發明專利]一種基于MapReduce框架的數據篩選方法

有效

• 申請號: 201310101529.8
• 申請日: 2013-03-27
• 公開（公告）號: CN103150400B
• 公開（公告）日: 2017-06-06
• 發明（設計）人: 楊超;方宸;涂來
• 申請（專利權）人: 領航動力信息系統有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京華沛德權律師事務所11302
• 代理人: 劉麗君

1.一種基于MapReduce框架的數據篩選方法，其特征在于，包括：

輸入篩選需求；所述篩選需求包括：數據的輸入路徑、數據的輸出路徑、字段序號、篩選上限、篩選下限及篩選關鍵字；

進行數據篩選；統計篩選需求中待篩選數據的字段總數N，令一個整型變量X的初始值為1；根據篩選需求提取篩選范圍或關鍵字對待篩選的數據進行范圍篩選或關鍵字篩選；判斷所述整型變量X是否等于所述字段總數N；

若X不等于N，說明待篩選的數據并不符合篩選需求中的所有篩選條件，則將整型變量X加1，繼續對數據進行篩選直至待篩選的數據符合所有的篩選條件；將篩選后的數據按所述輸出路徑輸出到目的地址；

若X等于N，說明待篩選的數據符合篩選要求中的所有篩選條件，則將篩選后的數據按所述輸出路徑輸出到目的地址；

所述進行數據篩選的步驟還包括：判斷輸入的篩選需求是否合法；若所述篩選需求合法，則進行數據篩選；所述判斷輸入的篩選需求是否合法的步驟具體包括：判斷MapReduce是否支持所述篩選需求的格式；若所述MapReduce支持篩選需求的格式，判斷篩選需求中數據的輸入路徑在文件系統中是否存在；若所述數據的輸入路徑在所述文件系統中存在，判斷所述篩選需求中數據的輸出路徑在所述文件系統中是否存在；若所述數據的輸出路徑在所述文件系統中不存在，判斷所述篩選需求中待篩選數據的字段序號在所述文件系統中是否都存在；若所述字段序號在所述文件系統中都存在，則說明篩選需求是合法的；

所述根據篩選需求提取篩選范圍或關鍵字對待篩選的數據進行范圍篩選或關鍵字篩選的步驟具體包括：提取出篩選需求中字段序號所代表的數據；根據篩選需求判斷是否需要對數據進行范圍篩選；

若需要對數據進行范圍篩選，則從篩選需求中提取出篩選上限和篩選下限；判斷輸入的字段序號是否在篩選范圍內，若字段序號在篩選范圍內，則對字段序號代表的數據進行保存；

若不需要對數據進行范圍篩選，則從篩選需求中提取關鍵字，判斷輸入的字段序號所代表的內容是否等于關鍵字，若所述內容等于關鍵字，則對字段序號代表的數據進行保存；

所述待篩選的數據符合所有的篩選條件的步驟還包括：判斷文件系統中的數據是否都經過了篩選；

若文件系統中不是所有數據都經過了篩選，則對文件系統中未篩選的數據進行篩選直至文件系統中的所有數據都經過了篩選；將篩選后的數據按所述數據的輸出路徑輸出到目的地址；

若文件系統中的所有數據都經過了篩選，則將篩選后的數據按所述數據的輸出路徑輸出到目的地址。

2.如權利要求1所述的基于MapReduce框架的數據篩選方法，其特征在于，所述將篩選后的數據按所述數據的輸出路徑輸出到目的地址的步驟具體包括：對篩選得到的數據進行整合得到包含鍵和值的數據對，作為化簡運算的輸入；再將所述化簡運算的輸出設為空，最后將得到的數據按數據的輸出路徑輸出到目的地址。