[發明專利]數據過濾的方法和裝置

有效

• 申請號: 201710245934.5
• 申請日: 2017-04-14
• 公開（公告）號: CN107391532B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 張明坤
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2458;G06F16/22;G06F16/2455;G06F16/2453
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種數據過濾的方法，其特征在于，過濾規則由一個到多個標識以及對應于每個標識的篩選條件來表達，所述標識包括原始數據的至少一個列，所述方法包括：

從原始數據中提取所述過濾規則涉及的所有標識指定的列，得到源數據；其中，所述原始數據具有不同數據結構，所述標識指定的列包括同一個標識指定的匹配于所述不同數據結構的列；

根據過濾規則的表達，依次采用各個標識對應的篩選條件對源數據的行記錄進行過濾，得到目標數據。

2.根據權利要求1所述的方法，其特征在于，所述過濾規則涉及的所有標識為N個并且每個標識在表達過濾規則時只使用一次，N為自然數；

所述根據過濾規則的表達，依次采用各個標識對應的篩選條件對源數據的行記錄進行過濾，得到目標數據，包括：將源數據作為標識1的待處理數據，根據待處理數據的每行記錄中標識1指定列的值、與標識1對應的篩選條件確定所述行記錄是否通過標識1的篩選，按照是否通過的結果和過濾規則將所述行記錄或者作為目標數據、或者作為已處理數據、或者被丟棄；將上一個標識的已處理數據作為下一個標識的待處理數據，采用下一個標識重復上述篩選過程；直到經過標識N的篩選后，得到目標數據。

3.根據權利要求2所述的方法，其特征在于，所述過濾規則包括：通過第一標識的篩選、并且通過第二標識的篩選；

所述根據過濾規則，依次采用各個標識對應的篩選條件對源數據的行記錄進行過濾，得到目標數據，包括：將第一標識的待處理數據中通過第一標識篩選的行記錄保存為已處理數據；將第一標識的已處理數據作為第二標識的待處理數據，將通過第二標識篩選的行記錄保存為目標數據。

4.根據權利要求2所述的方法，其特征在于，所述過濾規則包括：通過第三標識的篩選、或者通過第四標識的篩選；

所述根據過濾規則，依次采用每個標識對應的篩選條件對源數據的行記錄進行過濾，得到目標數據，包括：將第三標識的待處理數據中通過第三標識篩選的行記錄保存為目標數據，將未通過第三標識篩選的行記錄保存為第三標識的已處理數據；將第三標識的已處理數據作為第四標識的待處理數據，將通過第四標識篩選的行記錄保存為目標數據。

5.根據權利要求2所述的方法，其特征在于，所述過濾規則還包括：過濾方向；當過濾方向為正向時，如果某個行記錄中標識指定列的值滿足所述標識對應的篩選條件，則所述行記錄通過所述標識的篩選；當過濾方向為反向時，如果某個行記錄中標識指定列的值不滿足所述標識對應的篩選條件，則所述行記錄通過所述標識的篩選。

6.根據權利要求1所述的方法，其特征在于，所述過濾規則由至少一個標簽來表達；所述標簽用來描述具備一定特征的業務，包括一個以上標識和對應于每個標識的篩選條件，每個標識的至少一個指定列與所述特征相關；

所述根據過濾規則，依次采用每個標識對應的篩選條件對源數據的行記錄進行過濾，得到目標數據，包括：對每個標識，在標識所屬的標簽中查找標識對應的篩選條件，按照所述篩選條件對源數據的行記錄進行過濾；在根據過濾規則遍歷所有標識后得到目標數據。

7.根據權利要求6所述的方法，其特征在于，所述過濾規則由至少一個標簽和/或至少一個標簽組合來表達，所述標簽組合包括至少兩個標簽；

所述根據過濾規則，依次采用每個標識對應的篩選條件對源數據的行記錄進行過濾，得到目標數據，包括：對每個標識，在標識所屬的標簽或標簽組合中查找標識對應的篩選條件，按照所述篩選條件對源數據的行記錄進行過濾；在根據過濾規則遍歷所有標識后得到目標數據。

8.一種數據過濾的裝置，其特征在于，過濾規則由一個到多個標識以及對應于每個標識的篩選條件來表達，所述標識包括原始數據的至少一個列，所述裝置包括：

源數據提取單元，用于從原始數據中提取所述過濾規則涉及的所有標識指定的列，得到源數據；其中，所述原始數據具有不同數據結構，所述標識指定的列包括同一個標識指定的匹配于所述不同數據結構的列；

源數據過濾單元，用于根據過濾規則的表達，依次采用各個標識對應的篩選條件對源數據的行記錄進行過濾，得到目標數據。