[發明專利]數據抽樣方法、裝置、設備及存儲介質

在審

• 申請號: 201911057187.8
• 申請日: 2019-10-31
• 公開（公告）號: CN110825783A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 陳瑞欽;黃啟軍;李詩琦;唐興興;林冰垠
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

本發明涉及金融科技領域，本發明公開了一種數據抽樣方法、裝置、設備及存儲介質，所述數據抽樣方法包括：統計多個待計算節點的數據條目總數，并根據預設的待抽取數據條目數和所述數據條目總數，獲得抽樣比率；獲取各待計算節點中原數據塊的剩余未分配數據條目總數，并根據所述剩余未分配數據條目總數和所述抽樣比率，獲得各待計算節點的剩余應抽樣數據條目數；根據所述剩余應抽樣數據條目數從原數據塊中抽取目標數據記錄，并將所述目標數據記錄保存至抽樣結果數據庫中。本發明解決傳統分布式數據指定數量的抽樣結果不準確的技術問題。

技術領域

本發明涉及金融科技技術領域，尤其涉及一種數據抽樣方法、裝置、設備及存儲介質。

背景技術

隨著計算機技術的發展，越來越多的技術(大數據、分布式、區塊鏈 Blockchain、人工智能等)應用在金融領域，傳統金融工業正在逐步向金融科技(Fintech)轉變，但由于金融行業的安全性、實時性要求，也對技術提出了更高的要求。

現有的金融大數據分析挖掘需要從龐大數據量中進行分析處理，而數據之間的差異性會導致數據分布不均衡，傳統的隨機抽樣方法的抽樣結果容易與指定數值產生較大差異，使得精確度較低，這會造成抽取指定數量的隨機數據時，抽取結果不準確，從而降低指定數量的數據抽取準確性，影響數據分析的可靠性和精準度。

因此，如何提高指定數量的數據抽樣準確性，是當前亟待解決的技術問題。

發明內容

本發明的主要目的在于提供一種數據抽樣方法、裝置、設備及存儲介質，旨在解決傳統分布式數據指定數量的抽樣結果不準確的技術問題。

為實現上述目的，本發明實施例提供一種數據抽樣方法，所述數據抽樣方法包括：

統計多個待計算節點的數據條目總數，并根據預設的待抽取數據條目數和所述數據條目總數，獲得抽樣比率；

獲取各待計算節點中原數據塊的剩余未分配數據條目總數，并根據所述剩余未分配數據條目總數和所述抽樣比率，獲得各待計算節點的剩余應抽樣數據條目數；

根據所述剩余應抽樣數據條目數從原數據塊中抽取目標數據記錄，并將所述目標數據記錄保存至抽樣結果數據庫中。

可選地，所述將所述目標數據記錄保存至抽樣結果數據庫中的步驟之前還包括：

獲取預設的隨機數種子；

獲取所述待計算節點的節點編號，并根據所述隨機數種子和所述節點編號生成隨機數；

若所述剩余未分配數據條目總數和所述隨機數的乘積值小于所述剩余應抽樣數據條目數，則將目標數據記錄保存至抽樣結果數據庫；

若所述剩余未分配數據條目總數和所述隨機數的乘積值大于或等于所述剩余應抽樣數據條目數，則將目標數據記錄丟棄。

可選地，所述獲得各待計算節點的剩余應抽樣數據條目數的步驟之后還包括：

若所述剩余應抽樣數據條目數中存在非整數形式的目標剩余應抽樣數據條目數，則對所述目標剩余應抽樣數據條目數進行取整處理；

在取整處理后，從各待計算節點中確定目標待補償節點，并根據所述待抽取數據條目數和所述剩余應抽樣數據條目數對所述目標待補償節點進行補償處理，以更新所述目標待補償節點的剩余應抽樣數據條目數。

可選地，所述剩余應抽樣數據條目數以層剩余應抽樣數據條目數表示，所述根據所述剩余未分配數據條目總數和所述抽樣比率，獲得各待計算節點的剩余應抽樣數據條目數的步驟包括：

若檢測到預設的特征分層指令，則對各待計算節點中剩余未分配數據條目總數的數據記錄進行特征分層處理，以獲得每個待計算節點中各特征分層的層剩余未分配數據條目總數；