[發明專利]數據處理方法、裝置、存儲介質和處理器

有效

• 申請號: 201911108257.8
• 申請日: 2019-11-13
• 公開（公告）號: CN110837510B
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 鄭文彪
• 申請（專利權）人: 北京深演智能科技股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/27
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 董文倩

本發明公開了一種數據處理方法、裝置、存儲介質和處理器。該方法包括：獲取設備的數據源集，其中，數據源集中的每個數據源用于標識設備，每個數據源為的量級相同，且量級大于目標閾值；將每個數據源的數據類型由字符串類型轉化為長整型，得到多個第一數據；對每個第一數據進行移位處理，得到多個第二數據；對每兩個第二數據進行邏輯運算，得到結果集。通過本發明，達到了提高數據處理效率的技術效果。

技術領域

本發明涉及數據處理領域，具體而言，涉及一種數據處理方法、裝置、存儲介質和處理器。

背景技術

目前，通常通過位圖法(RoaringBitMap)對數據進行處理，該方法可以完整地表示2^32個整型(Int)整數，容量閾值為512MB。

但是，由于業務中收錄的設備標識(Identifier For Advertising，簡稱為IDFA)都是經過32位的MD5加密后的字符串，與Int類型不相匹配，因而上述類型數據無法滿足現有的億級數據量的邏輯計算，并且在對上述數據進行處理時，所要花費的時間復雜度為O(n)^2，從而導致數據處理的效率低。

針對現有技術中的數據處理的效率低的問題，目前尚未提出有效的解決方案。

發明內容

本發明的主要目的在于提供一種數據處理方法、裝置、存儲介質和處理器，以至少解決數據處理的效率低的問題。

為了實現上述目的，根據本發明的一個方面，提供了一種數據處理方法。該方法可以包括：獲取設備的數據源集，其中，數據源集中的每個數據源用于標識設備，每個數據源為的量級相同，且量級大于目標閾值；將每個數據源的數據類型由字符串類型轉化為長整型，得到多個第一數據；對每個第一數據進行移位處理，得到多個第二數據；對每兩個第二數據進行邏輯運算，得到結果集。

可選地，該方法還包括：將每個第一數據按照目標數據結構存儲至集群緩存數據庫中。

可選地，將每個第一數據按照目標數據結構存儲至集群緩存數據庫中包括：將每個第一數據按照鍵值對的形式存儲至集群緩存數據庫。

可選地，在對每兩個第二數據進行邏輯運算，得到結果集之后，方法還包括：基于結果集在集群緩存數據庫中反查數據源集。

可選地，對每個第一數據進行移位處理，得到多個第二數據包括：對每個第一數據進行移位處理，得到每個第一數據的第一數據位的第一子數據和第二數據位的第二子數據。

可選地，將每個數據源的數據類型由字符串類型轉化為長整型，得到多個第一數據包括：對每個數據源進行哈希運算，以將每個數據源的數據類型由字符串類型轉化為長整型，得到多個第一數據。

可選地，對每兩個第二數據進行邏輯運算，得到結果集包括以下之一：對每兩個第二數據進行或邏輯運算，得到結果集；對每兩個第二數據進行與邏輯運算，得到結果集；對每兩個第二數據進行非邏輯運算，得到結果集。

為了實現上述目的，根據本發明的另一方面，還提供了一種數據處理裝置，其特征在于，包括：獲取單元，用于獲取設備的數據源集，其中，數據源集中的每個數據源用于標識設備；轉化單元，用于將每個數據源的數據類型由字符串類型轉化為長整型，得到多個第一數據；移位單元，用于對每個第一數據進行移位處理，得到多個第二數據；運算單元，用于對每兩個第二數據進行邏輯運算，得到結果集。

為了實現上述目的，根據本發明的另一方面，還提供了一種存儲介質。該存儲介質包括存儲的程序，其中，在程序運行時控制存儲介質所在設備執行本發明實施例的數據處理方法。

為了實現上述目的，根據本發明的另一方面，還提供了一種處理器。該處理器用于運行程序，其中，程序運行時執行本發明實施例的數據處理方法。