[發(fā)明專利]一種基于智能采集終端到云的網絡數(shù)據流的處理方法

有效

• 申請?zhí)枺?/td>: 201710974863.2
• 申請日: 2017-10-19
• 公開（公告）號: CN107832348B
• 公開（公告）日: 2020-01-21
• 發(fā)明（設計）人: 林珂;徐嘯峰;胡蔚;馬樂;徐元曉
• 申請（專利權）人: 中通服咨詢設計研究院有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;H04L29/08
• 代理公司: 32237 江蘇圣典律師事務所
• 代理人: 胡建華

1.一種基于智能采集終端到云的網絡數(shù)據流的處理方法，其特征在于，包括如下步驟：

步驟1，采集數(shù)據，將采集的數(shù)據在不經過任何數(shù)據處理的情況下通過光纖傳輸線路形成單個鏈路的復合的多元網絡數(shù)據流；

步驟2，通過在數(shù)據中心搭載云計算管理平臺獲取到多元網絡數(shù)據流，多元網絡數(shù)據流釋放到云計算管理平臺的原始數(shù)據資源池中，以原有的數(shù)據形式存在；

步驟3，提取在原始數(shù)據資源池中的數(shù)據流的數(shù)據標簽關于來源地、時序和設備信息的特征，并形成數(shù)據流的特征映射；

步驟4，定義基準線，對特征映射進行疊加，得到關聯(lián)特征映射集和非關聯(lián)特征映射集；

步驟5，計算關聯(lián)特征映射集到基準線的距離D，D做為變量因子來判定不同關聯(lián)特征映射集的相似度，對于有相等距離D的關聯(lián)特征映射集，執(zhí)行步驟6，對于沒有相等距離D的關聯(lián)特征映射集并入下一標準單位時間的其他的關聯(lián)特征映射集返回步驟4處理；將非關聯(lián)特征映射集并入下一單位時間的數(shù)據特征映射，返回執(zhí)行步驟4；

步驟6，將有相等距離D的關聯(lián)特征映射集以距離D為鏈接節(jié)點形成關聯(lián)特征映射集串聯(lián)；

步驟7，不同關聯(lián)特征映射集完成關聯(lián)特征映射集串聯(lián)后，根據時序形成不同的特征的線性數(shù)據，對每個特征的線性數(shù)據依照數(shù)據自帶標簽中的長度和順序完成時序的先后排列，得到排序后的特征線性數(shù)據；

步驟8，根據特征線性數(shù)據的首個數(shù)據的長度記錄對比最后一個數(shù)據的長度記錄，如果信息一致則判定特征線性數(shù)據完整；執(zhí)行步驟9；如不一致則執(zhí)行步驟10；

步驟9，根據完整特征數(shù)據字符、數(shù)字編碼信息來確定特征線性數(shù)據特征、格式及其他屬性并輸入到云計算管理平臺的數(shù)據庫中；

步驟10，對未達到完整的特征線性數(shù)據進行清洗處理。

2.根據權利要求1所述的方法，其特征在于，步驟1中，通過對多個行業(yè)的業(yè)務渠道智能終端采集數(shù)據，業(yè)務渠道包括氣象水雨情、水利的河道監(jiān)測、電力和燃氣抄表，智能終端包括水雨情測量儀、河道水文監(jiān)測器、直讀數(shù)據和燃氣泄漏探測器。

3.根據權利要求2所述的方法，其特征在于，步驟4中包括如下步驟：

步驟4-1，多元網絡數(shù)據流的特征是以10ⁿ的數(shù)量級存在，0＜n＜100,n屬于正整數(shù)，多元特征f(n)＝α·10ⁿ+t，α∈[1,9],0≤t≤10ⁿ-1,t是正整數(shù)；

步驟4-2，對于任意一個在初始數(shù)據資源池中網絡數(shù)據流的特征映射f(n)_i，i取大于0的任意正整數(shù)，i表示對于單一數(shù)據流特征映射的編號，即當n取同一值時，存在兩個以上同一數(shù)量級且不同多元特征的映射；

步驟4-3，定義基準線，在基于基準線坐標位置和上移或下移一個標準差范圍內的數(shù)據流特征映射進行疊加，對于兩個特征映射中相同的特征形成關聯(lián)，保留單個不同的特征；

步驟4-4，如超過一個基準線位置上移或下移一個標準差范圍內的數(shù)據流特征映射，則執(zhí)行在下一個單位時間的數(shù)據流特征映射的分布，并補充入新的數(shù)據流特征映射后執(zhí)行步驟4-3的特征映射疊加；

步驟4-5，提取完成一次疊加后的特征映射集中的關聯(lián)特征，分離形成關聯(lián)特征映射集和非關聯(lián)特征映射集。

4.根據權利要求3所述的方法，其特征在于，步驟4-3中所述定義基準線包括：

在一個單位時間內形成的數(shù)據流的特征映射分布在三維的空間，以坐標軸從原點發(fā)出的虛射線作為一數(shù)據特征映射基準線，基準線上的點的坐標位置為(x,y,z)，基準線參數(shù)方程為：

(x-x₀)/A＝(y-y₀)/B＝(z-z₀)/C＝T,

其中點(x₀,y₀,z₀)是基準線T上的其中一個點，向量(A,B,C)為基準線的方向向量。

5.根據權利要求4所述的方法，其特征在于，步驟5中，通過如下方法計算關聯(lián)特征映射集到基準線的距離D：對于關聯(lián)特征映射集所對應的點為(m,n,o)，點(m,n,o)到基準線垂直距離的點(x_c，y_c，z_c)是唯一的，則關聯(lián)特征映射集到基準線的距離