[發明專利]基于超大數據集的數據處理方法及裝置

有效

• 申請號: 201611243826.6
• 申請日: 2016-12-29
• 公開（公告）號: CN106777280B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 張軍;賈西貝
• 申請（專利權）人: 深圳市華傲數據技術有限公司
• 主分類號: G06F16/90
• 分類號: G06F16/90;G06F16/904
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 任媛

1.一種基于超大數據集的數據處理方法，其特征在于，包括：

第一數組構建步驟：根據預獲取的字段數和第一設定值，構建第一數組，所述第一數組為二維數組；

數據集檢驗步驟：檢驗超大數據集的數據，若符合指定的特定特征，則將該數據對應所述第一數組中字段位置的數值設置為第一數據標記值，否則，將該數據對應所述第一數組中字段位置的數值設置為第二數據標記值，形成數據集檢驗信息；

第二數組構建步驟：根據所述字段數和第二設定值，構建第二數組，所述第二設定值是根據預設比例值和所述第一設定值確定的數值，所述第二數組為二維數組；

信息組劃分步驟：根據所述預設比例值，將所述數據集檢驗信息進行劃分，依次形成多個信息組，并記錄每個信息組的信息組位置；

第二數組更新步驟：檢驗每個信息組，若該信息組包含所述第一數據標記值，則設置該組的檢驗結果為第一標記值檢驗結果，若該信息組不包含所述第一數據標記值，則設置該組的檢驗結果為第二標記值檢驗結果；

根據每個信息組位置，確定該信息組在所述第二數組中的目標字段；

將每個信息組的第一標記值檢驗結果或第二標記值檢驗結果更新至該信息組的目標字段。

2.根據權利要求1所述基于超大數據集的數據處理方法，其特征在于，

在所述數據集檢驗步驟之后，該方法還包括：

采用可視化顯示方式，將所述第一數據標記值和所述第二數據標記值進行顯示；

在所述第二數組更新步驟之后，該方法還包括：

采用可視化顯示方式，將所述第一標記值檢驗結果和所述第二標記值檢驗結果進行顯示。

3.根據權利要求2所述基于超大數據集的數據處理方法，其特征在于，

所述采用可視化顯示方式，將所述第一數據標記值和所述第二數據標記值進行顯示，具體包括：

采用圖片顯示方式，將所述第一數據標記值和所述第二數據標記值形成第一圖片，進行顯示；

采用列表顯示方式，將所述第一數據標記值和所述第二數據標記值形成第一列表，進行顯示；

所述采用可視化顯示方式，將所述第一標記值檢驗結果和所述第二標記值檢驗結果進行顯示，具體包括：

采用圖片顯示方式，將所述第一標記值檢驗結果和所述第二標記值檢驗結果形成第二圖片，進行顯示；

采用列表顯示方式，將所述第一標記值檢驗結果和所述第二標記值檢驗結果形成第二列表，進行顯示。

4.根據權利要求3所述基于超大數據集的數據處理方法，其特征在于，

在顯示所述第一圖片之后，該方法還包括：

接收用戶發送的第一指定區域的數據顯示指令；

根據所述第一指定區域的數據顯示指令，計算第一指定區域在所述超大數據集的坐標區間；

根據所述超大數據集的坐標區間，獲取并顯示該第一指定區域的數據；

在顯示所述第二圖片之后，該方法還包括：

接收用戶發送的第二指定區域的數據顯示指令；

根據所述第二指定區域的數據顯示指令，從所述第一圖片中截取與第二指定區域相應的子圖，進行顯示。

5.根據權利要求1所述基于超大數據集的數據處理方法，其特征在于，

在所述數據集檢驗步驟之后，該方法還包括：

根據所述第一數據標記值和該第一數據標記值的字段位置，獲取對應于所述超大數據集的特定特征數據，進行顯示；

在所述第二數組更新步驟之后，該方法還包括：

根據所述第一標記值檢驗結果和該第一標記值檢驗結果的信息組位置，獲取對應于所述超大數據集的指定數據區間；

根據所述特定特征，檢驗所述指定數據區間的數據，確定并顯示特定特征數據。