[發明專利]鉆井式數據采樣方法及其在大數據價值風險評估中的應用

有效

• 申請號: 202110813235.2
• 申請日: 2021-07-19
• 公開（公告）號: CN113506007B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 章昭輝;徐付娟;劉科;楊如萍
• 申請（專利權）人: 上海抉真網絡科技有限責任公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/26
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發明涉及一種鉆井式數據采樣方法。本發明的另一個技術方案是提供了一種上述的鉆井式數據采樣方法在大數據價值風險評估中的應用方法。為解決大數據價值安全評估問題，本發明首先提供了一種“鉆井式”的流式大數據的適量高效采集方法。該方法對不斷產生的流數據進行“鉆井”操作，建立流數據大小相對確定機制，并動態調整井間距，再分別對井內數據進行分析采樣，觀察其是否含有足夠信息。這樣能夠很好的避免在整個流數據集上進行操作，導致過度的存取計算問題。其次，本發明將“鉆井式”的流式大數據的適量高效采集方法應用在有效的數據價值安全評估中，對被采集的數據集進行價值評估。

技術領域

本發明涉及一種鉆井式數據采樣方法以及該數據采樣方法在大數據價值風險評估中的應用。

背景技術

大數據已經被認為是一種數據資產。作為數據資產的大數據價值主要體現在數據本身所含的價值以及開發利用大數據的代價。從數據價值風險安全角度看，其中一種重要的表現是，大數據被未授權采集的一定量的數據是否體現了整體數據集的價值大小。如果采集的數據能夠基本反映整體數據的特性，則意味著數據存在數據價值泄露的不安全。然而，現有的大數據價值安全還缺乏有效評估方法。特別地，對于流式大數據，由于數據量大、變化快等特性，在實際應用場景下，整體的數據價值評估難以采用全量的傳統法。因此，要實現大數據價值安全的評估，必須要解決大數據整體價值的首要問題：能高效準確地體現整體價值的適量大數據采樣問題。

發明內容

本發明的目的是：高效準確地體現整體價值的適量大數據采樣。

為了達到上述目的，本發明的技術方案是提供了一種鉆井式數據采樣方法，其特征在于，包括以下步驟：

步驟1、井內波峰波谷采樣：

針對流數據大小的不確定性，以井的寬度限定井內數據量的大小，使得流數據的大小相對確定，將井的寬度記為W，從異常值攜帶信息量較多的角度出發，采集每個井的局部異常值，每個井的局部異常值為波峰波谷，具體包括以下步驟：

S101、計算均值貢獻率MCR：

計算井內流數據值的均值，將井內每個流數據值對均值的影響定義為均值貢獻率MCR，則井內第i個流數據值value_i對均值貢獻程度MCR_i的計算公式為：

S102、設置均值貢獻率MCR的閾值上限θ_upper和閾值下限θ_lower：

S103：計算井內疑似波峰波谷：

當井內流數據值的均值貢獻率MCR_i≥θ_upper，則將該流數據值標記為疑似波峰；當井內流數據值的均值貢獻率MCR_i≤θ_lower，則將該流數據值標記為疑似波谷，將疑似波峰及疑似波谷的集合記為PT，則PT表示為：

{(i，MCR_i)|MCR_i≥θ_upperor MCR_i≤θ_1ower，i∈[1，W]and MCR_i∈MCR}

S104：計算井內真實波峰波谷：

遵循波峰波谷交替出現的原則，當集合PT中連續出現波峰或波谷，則比較連續波峰或波谷的大小，若連續出現波峰，則保留其中最大的流數據值作為真實波峰，若連續出現波谷，則保留其中最小的流數據值作為真實波谷，進而得到真實的波峰波谷集合；

步驟2、井間距動態調整：