[發明專利]一種數據處理方法及裝置

有效

• 申請號: 202010119532.2
• 申請日: 2020-02-26
• 公開（公告）號: CN111339217B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 黃冠雄;羅捷銳
• 申請（專利權）人: 慧擇保險經紀有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2457;G06F16/22
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 常忠良

本發明提供一種數據處理方法及裝置，在獲取到待處理數據集之后，根據預設分類屬性，從待處理數據集中采集具有預設分類屬性的待處理數據，從具有預設分類屬性的待處理數據中，獲取預設分類屬性對應的數據屬性值，以預設分類屬性對應的數據屬性值作為所屬待處理數據的緯度，標記待處理數據，因為預設分類屬性包括的數據屬性是待處理數據包括的數據屬性，所以每條待處理數據可由其數據屬性值作為其緯度進行標記，若預設分類屬性發生變更，可根據變更后的預設分類屬性進行緯度替換，節省物理空間，并且一條待處理數據的緯度的數目明顯小于待處理數據的數據索引，提高檢索效率，從而提高數據的吞吐量。

技術領域

本發明涉及大數據技術領域，具體涉及一種數據處理方法及裝置。

背景技術

在大數據時代數據量逐漸增加，且大數據時代下可通過數據庫的方式存儲數據，以能夠從數據庫中檢索到所需數據。但是隨著數據量的增大，數據庫中存儲的每條數據的數據屬性增多，且數據庫中不同來源的數據的數據屬性值不同，導致現有在數據庫中建立數據索引以進行數據檢索的方式難以滿足數據檢索的要求。

例如，用于存儲訂單數據的數據庫，不同訂單數據對應不同類型的產品，且不同類型的產品來源不同，導致數據庫中不同訂單數據的數據屬性值不同，那么針對不同訂單數據則需要構建不同的數據索引，如針對數據庫中A產品的訂單數據根據a1和a2兩個數據屬性值建立數據索引以進行檢索，B產品的訂單數據根據b1和b2兩個數據屬性值建立數據索引以進行檢索。

因數據庫中的數據量不斷增加以及數據檢索的要求也會不斷變更，導致數據庫中數據索引會無序增長，從而用于存儲數據索引的索引文件會占用物理空間，且過多的數據索引會使得數據的吞吐量降低。

發明內容

有鑒于此，本發明實施例提供一種數據處理方及裝置，技術方案如下：

一方面，本發明提供一種數據處理方法，包括：

獲取待處理數據集，所述待處理數據集包括至少兩條待處理數據，所述至少兩條待處理數據包括至少一個數據屬性；

根據預設分類屬性，從所述待處理數據集中采集具有所述預設分類屬性的待處理數據，所述預設分類屬性包括至少一個數據屬性，且所述預設分類屬性包括的數據屬性是至少一條待處理數據包括的數據屬性；

從具有所述預設分類屬性的待處理數據中，獲取所述預設分類屬性對應的數據屬性值；

以所述預設分類屬性對應的數據屬性值作為所屬待處理數據的緯度，標記所述預設分類屬性對應的數據屬性值所屬的待處理數據。

可選的，所述方法還包括：根據預設篩選屬性對應的數據屬性值，對所述待處理數據進行篩選，得到具有所述預設篩選屬性對應的數據屬性值的待處理數據。

可選的，所述方法還包括：

確定具有所述預設篩選屬性對應的數據屬性值的待處理數據是否滿足預設計算規則；

若具有所述預設篩選屬性對應的數據屬性值的待處理數據滿足預設計算規則，根據所述預設計算規則對應的計算算法進行計算。

可選的，所述方法還包括：

獲取檢索數據；

將所述檢索數據與所述待處理數據的緯度進行比對，確定緯度與所述檢索數據匹配的所述待處理數據；

輸出緯度與所述檢索數據匹配的所述待處理數據。

可選的，所述方法還包括：

根據所述待處理數據的數據屬性以及數據屬性值，對所述待處理數據的緯度進行校驗；

若所述待處理數據的緯度與所述待處理數據的數據屬性以及數據屬性值不匹配，重新對所述待處理數據進行標記。