[發明專利]數據處理方法及裝置

在審

• 申請號: 202210851532.0
• 申請日: 2022-07-19
• 公開（公告）號: CN115391370A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 郭淳;段暉
• 申請（專利權）人: 中銀金融科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F17/17
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 郭亮

本發明提供一種數據處理方法及裝置，該方法包括：獲取分位數，從數據庫中獲取計算分位數所需的數據組；確定數據組的數據總數，并按照從小到大順序對數據組進行排序，獲取每個數據在數據組中的序號；確定滿足小于或等于分位數與總數之積，并且加一后大于分位數與總數之積的第一序號；確定滿足大于或等于分位數與總數之積，并且減一后小于分位數與總數之積的第二序號；根據第一序號和第二序號對應的數值，確定分位數的數值。該方法解決了gbase等數據庫中分位數計算問題，通用性較好，同時計算過程透明，便于分析與調整，可使用sql的常用語法與函數，通過select查詢結合其他函數與語法來完成每一步計算，可通過sql實現分位數計算。

技術領域

本發明涉及大數據領域，尤其涉及一種數據處理方法及裝置。

背景技術

分位數，是指將一個隨機變量的概率分布范圍分為幾個等份的數值點，常用的有中位數(即二分位數)和四分位數等。例如，分位數是在一組數據中，第x％位置對應的數值，分位數的計算即計算P(X＝A)＝x％對應的A的值。

現有的數據庫中的分位數計算的實現都是將計算邏輯封裝成函數，然后在代碼中通過調用函數，輸入不同的參數來完成的。如Oracle的percentile_cont()、median()等函數，hive的percentile_approx()等函數。

不同的數據庫具有不同的特點，甚至是具有獨有的函數，使得部分代碼無法在不同數據庫中通用，如Oracle中的分位數相關函數，在gbase等數據庫中就不存在。由于這些函數都是已經封裝好的，不同數據庫中的此類函數的名稱與用法也大多不一致，所以僅能在單個數據庫中使用，通用性較低。

發明內容

針對現有技術存在的問題，本發明提供一種數據處理方法及裝置。

本發明提供一種數據處理方法，包括：獲取分位數，以及從數據庫中獲取計算分位數所需的數據組；確定數據組的數據總數，并按照從小到大順序對數據組進行排序，以及獲取每個數據在數據組中的序號；確定滿足小于或等于分位數與總數之積，并且加一后大于分位數與總數之積的第一序號；以及確定滿足大于或等于分位數與總數之積，并且減一后小于分位數與總數之積的第二序號；根據所述第一序號和所述第二序號對應的數值，確定分位數的數值。

根據本發明提供的一種數據處理方法，所述根據所述第一序號和所述第二序號對應的數值，確定分位數的數值，包括：對于每一數據組，根據每一數據組的第一序號和第二序號對應的數值，確定每一數據組各自分位數的數值；或者，所述分位數有多個，相應地，所述根據所述第一序號和所述第二序號對應的數值，確定分位數的數值，包括：根據每一分位數的第一序號和第二序號對應的數值，確定每一分位數的分位數數值；或者，所述數據組和所述分位數均有多個，相應地，所述根據所述第一序號和所述第二序號對應的數值，確定分位數的數值，包括：對于每一數據組，根據每一數據組每一分位數的第一序號和第二序號對應的數值，確定每一數據組每一分位數的分位數數值。

根據本發明提供的一種數據處理方法，所述從數據庫中獲取計算分位數所需的數據組之后，還包括：去掉數值為空的數據。

根據本發明提供的一種數據處理方法，所述確定數據組的數據總數，包括：根據數據組總數據個數減去一，確定數據組的數據總數；相應地，所述獲取每個數據在數據組中的序號，具體為，每個數據在數據組中的序號減去一，作為每個數據在數據組中的序號。

根據本發明提供的一種數據處理方法，所述根據所述第一序號和所述第二序號對應的數值，確定分位數的數值，包括根據下式確定分位數的數值：

其中，r_min為第一序號和第二序號中的較小者，r_max為第一序號和第二序號中的較大者，p為分位數，c為數據總數。