[發明專利]一種分布式大數據實時交換共享的計算機網絡系統

有效

• 申請號: 201710991527.9
• 申請日: 2017-10-23
• 公開（公告）號: CN107800787B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 孟青
• 申請（專利權）人: 圖斯崆南京科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;G06F16/182
• 代理公司: 北京華識知識產權代理有限公司 11530
• 代理人: 喬浩剛

本發明提出了一種分布式大數據實時交換共享的計算機網絡系統，實現了適用于分布式計算交換共享的分布式數據文件管理,并且實現了數據的加密上傳、解密下載、數據文件共享、異常攻擊預警機制,所述分布式大數據實時交換共享的計算機網絡系統包括：多個用戶設備，用于數據文件所有者把加密數據放到存儲服務器，以及數據文件共享者利用服務器的計算能力,對加密數據進行查詢；至少一個公鑰服務器，存放所有用戶的公鑰；多個任務服務器，用于實現所有操作，提供對元數據的管理和任務的協調；多個存儲服務器，用于存儲加密數據的分布式數據；至少一個驗證服務器，用于用戶注冊和身份驗證；至少一個MapReduce服務器，用于MapReduce任務的建立和執行。

技術領域

本發明涉及計算機系統領域，特別涉及一種分布式大數據實時交換共享的計算機網絡系統。

背景技術

大數據是指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》書中，大數據處理是指不用隨機分析法、統計方法，而是采用所有數據同時進行分析處理。這樣大數據分析工作如果采用分布式計算架構將會比單臺計算機花費時間短。它的特色是利用云存儲技術、分布式數據庫、分布式處理，在海量數據中挖掘出有價值的信息。從海量數據中“提煉”出有價值的信息，這對數據處理能力和網絡架構而言也是巨大的挑戰。

隨著網絡技術的快速發展，數據的容量和多樣性快速增加，而處理數據的算法復雜度卻難以改善，依賴個人經驗和手工操作來描述數據、標注數據、選擇特征、提取特征、處理數據的方法，已經很難滿足大數據快速增長的需求，如何高效處理大數據已經成為一個緊迫的難題。在現有的分布式大數據處理技術中，諸如基于MapReduce的Hadoop分布式文件系統及其數據處理方法，絕大部分的資源都會浪費在計算機集群之間的數據傳輸上，如何降低分布式系統的通信代價，也成為了一個必須解決的問題。

深度學習方法的研究突破，為解決大數據處理問題指明了一個值得探索的方向。在參考文獻1“G.E.Hinton and R.R.Salakhutdinov,Reducing the dimensionalityofdata with neural networks,Science,vol.313,no.5786,pp.504-507,2006”中，Hinton等人在2006年提出了用于深度置信網的逐層初始化訓練方法，這是深度學習方法的研究起點，該方法打破了持續了幾十年的深度學習系統訓練困難且效果不好的局面。深度學習是通過模擬人腦分層次的抽象，將底層數據逐層映射而獲得更抽象的特征，它可以從大數據中自動提取特征，并通過海量的樣本訓練獲得很好的處理效果。實際上，大數據的快速增長和深度學習的研究是相輔相成的，一方面大數據的快速增長需要一種高效處理海量數據的方法，另一方面深度學習系統的訓練需要海量的樣本數據。簡而言之，大數據可以使深度學習的性能達到極致。

目前對大數據的處理有時戳分布式算法和DFS最小生成樹分布式算法兩種處理方式。對于前者，對于一個全序對事件S，系統中的事件為接受消息后，取較大者作為新時戳。節點共有m個，節點的啟動時間為t，則算法的消息復雜度為O(mn2)，時間復雜度為O(t+L)。在最壞情況下，每個節點順序依次操作，總復雜度至多是：O(m*mn2)+O(t+L)。該算法的問題是不同事件可能有相同時戳(并發事件)，雖然可以選擇節點地址作為時戳的低位，但是不能通過事件的時戳判定兩事件之間是否是因果相關。而基于DFS生成樹分布算法可以判斷兩個事件之間的因果關系。

DFS生成樹分布算法，基于DFS生成樹分布算法的思想是每個節點均可自發喚醒，構造一棵以自己為根的DFS生成樹。若兩棵DFS樹試圖鏈接同一節點時，該節點將加入根的id較大的DFS樹。對于一個具有m條邊和n個節點的網絡，自發啟動的節點共有p個，其中id值最大者的啟動時間為t，則算法的消息復雜度為O(pn2)，時間復雜度為O(t+m)。最壞情況下，每個節點均試圖以自己為根構造一棵DFS樹，總復雜度至多是O(pn2)+O(m*n)。以上兩種梳理方法均存在數據處理效率不高的問題。