[發明專利]基于敏感數據的大數據處理方法、裝置、設備和存儲介質

有效

• 申請號: 201910876650.5
• 申請日: 2019-09-17
• 公開（公告）號: CN110674373B
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 張少典;馬漢東
• 申請（專利權）人: 上海森億醫療科技有限公司
• 主分類號: G06F16/9035
• 分類號: G06F16/9035
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

本申請提供了一種基于敏感數據的大數據處理方法、裝置、設備和存儲介質，通過依據預設條件確立樣本數量，并依據所述樣本數量確立狀態函數；根據所述狀態函數篩選種子數，將滿足篩選條件的所述種子數加入參數集合；判斷參數集合是否滿足所述樣本數量，若滿足則輸出參數集合，反之，則跳轉至上一步驟。本申請通過確立樣本數量和狀態函數，可以將去除敏感數據的原始數據集合中快速的篩選出需要的樣本數據集合，并且狀態函數可以通過不滿足樣本進行優化，使得樣本數據集合所表現的數據特征與原始數據集合具有的真實性數據特征保持高度一致，具有篩選高效且保留原始數據集合真實性的優點。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種基于敏感數據的大數據處理方法、裝置、設備和存儲介質。

背景技術

目前，大數據領域一般涉及數據持有方、數據提供商和數據使用方。數據持有方擁有數據的使用權和所有權，但不知道該如何利用數據數，使數據產生價值；數據提供商有數據分析的能力，可以把原始數據進行分析，得出一些結論；數據使用方沒有數據所有權，也沒有數據分析能力，但是需要根據原始數據分析結果進行實際應用。

數據持有方會找到數據提供商合作，數據使用方購買數據，在醫學數據或者政府身份數據等敏感數據領域，由于數據包含有敏感信息，不可以直接泄露給數據使用方，因此，數據使用方需購買數據提供商分析所得的數據分析結論。

現階段的數據提供商通常采用隨機抽樣的方式來提高大數據的價值密度，通過這種方式得到的分析結果往往與大數據總集合所表現出來的真實性特征存在一定的誤差性，通過擴大抽樣樣本的數量來減小這種誤差，但是這樣又會犧牲計算分析成本，使得數據使用方不能有效的了解到大數據全面的信息，無法針對性的進行應用，數據無法發揮出最大的利用價值，數據使用方也無法獲知有效的分析數據，導致信息流通中的不對稱。信息不對稱引起信息交流的不通暢，造成數據提供商的分析過程很長很艱難，而且不能滿足數據使用方的需求，達不到預期效果。

因此，如何在加速篩選條件下使樣本數據集合與原始數據集合真實性特征保持一致，是本領域技術人員需要解決的技術問題。

發明內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供一種基于敏感數據的大數據處理方法、裝置、設備和存儲介質，以解決現有技術中存在的至少一個問題。

為實現上述目的及其他相關目的，本申請提供一種基于敏感數據的大數據處理方法，所述方法包括：依據預設條件確立樣本數量，并依據所述樣本數量確立狀態函數；根據所述狀態函數篩選種子數，將滿足篩選條件的所述種子數加入參數集合；判斷參數集合是否滿足所述樣本數量，若滿足則輸出參數集合，反之，則跳轉至上一步驟。

于本申請的一實施例中，所述根據所述狀態函數篩選種子數，將滿足篩選條件的所述種子數加入參數集合，包括：調取原始數據集合；隨機抽取一個樣本作為所述種子數，帶入所述狀態函數進行計算；判斷是否滿足所述篩選條件中對應多種參數要求的評價指標；若滿足，進行下一步驟，反之，跳轉至上一步驟；計算所述狀態函數是否滿足要求，若滿足，進行下一步驟，反之，跳轉至最后一步驟；將滿足要求的所述種子數加入所述參數集合；拆解所述狀態函數以分析不滿足要求條件，將最優樣本加入所述參數集合。

于本申請的一實施例中，所述原始數據集合為去除敏感數據的大數據集合；所述參數集合為樣本數據集合。

于本申請的一實施例中，所述篩選條件是根據所述原始數據集合中的具體參數類別建立的。

于本申請的一實施例中，所述狀態函數通過動態規范算法進行拆解。