[發明專利]一種基于云環境下的海量大數據存儲、分析和管理系統

在審

• 申請號: 201711289856.5
• 申請日: 2017-11-29
• 公開（公告）號: CN108170558A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 梁平;張璐
• 申請（專利權）人: 江蘇搖鈴網絡科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;H04L29/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于云環境下的海量大數據存儲、分析和管理系統，由儲存系統、分析系統和管理系統三部分組成。本發明在數據輸入的同時將會自動進行簡單的數據分析，并自動備份相關的數據，在減輕了用戶處理數據的負擔的同時，避免了用戶因一時疏忽而永久性的刪除了重要數據。使云平臺能夠以安全、高效、一致的方式為用戶提供服務，且在登錄時設置的驗證系統，有效的防止了外接程序攻擊用戶的登錄賬戶，進而依次來威脅用戶的機密數據，提高了云平臺的安全性。

技術領域

本發明涉及一種數據處理系統，具體是一種基于云環境下的海量大數據存儲、分析和管理系統。

背景技術

隨著互聯網的飛速發展，很多應用的數據量都達到了TB級別甚至PB級別，如：Google已經在全球部署了100多萬臺服務器用來處理它龐大的數據量；Face Book每天上載的照片均超過了1億張以上，每天照片的瀏覽量超過150億張以上，隨著Face Book最近的進入中國市場的步伐加快，其數據量將更加面臨著一個直線的上升。2010年9月份圖片共享網站Flickr所收錄的上傳圖片數量超過了50億張。所有的這些數據存儲在不同的數據中心、集群和服務器中，這是一個非常復雜的異構環境。如何管理這些海量數據資源，使之能夠以安全、高效、一致的方式提供按需服務是目前云環境下數據資源管理面臨的一個巨大的困難和挑戰。

在云端服務中，虛擬化技術是根本與核心，也是云端服務最重要、最創新的部分，但其也是云端服務私密性問題的根源。由于云端服務使用的物理計算與存儲介質不屬于用戶所有，當用戶使用云端服務時，云端服務提供商會具有數據有限訪問權。同時由于云端服務的虛擬化特性，正常用戶和惡意用戶會使用同一朵云中的資源，企業和企業的競爭對手也會使用同一朵云上的云服務，導致在云端上，惡意用戶、企業的競爭對手乃至云端服務提供商都有可能會非法訪問并竊取云端服務用戶的私密數據。其中，在Gartner的一篇報告中指出，云計算中最重要的安全挑戰是云服務提供商對其物理設備上的客戶數據即用戶數據的訪問對于用戶來說是不可見，導致無法保證用戶數據的安全性和私密性。

發明內容

本發明的目的在于提供一種基于云環境下的海量大數據存儲、分析和管理系統，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種基于云環境下的海量大數據存儲、分析和管理系統，由儲存系統、分析系統和管理系統三部分組成，所述儲存系統的工作流程如下：

S1、用戶登錄101：通過用戶客戶端輸入賬號、密碼和驗證碼登錄云平臺；

S2、驗證通過102：云平臺對比用戶輸入的信息是否正確；

S3、驗證結果103：信息正確將登錄云平臺，信息錯誤云平臺將拒絕登錄；

S4、數據上傳104：用戶將需要上傳的數據上傳到云平臺；

S5、自動備份105：云平臺對于用戶上傳的數據將自動進行備份處理，除了用戶看到的工作界面有其上傳的數據外，在云平臺上對應的恢復區自動復制用戶上傳的數據；

S6、日志保存106：云平臺將這次的操作自動生成日志文件記錄下來，并將日志保存；

S7、數據處理107：云平臺按照一定的程序處理上傳的數據；

S8、用戶登出108：用戶退出云平臺；

所述分析系統的工作流程如下：

S1、數據上傳201：用戶將待分析的數據上傳到云平臺上；

S2、內部檢索202：云平臺對上傳的數據在該用戶的工作區內進行內部檢索；

S3、檢索結果分析203：根據數據的名稱在云平臺的該用戶的工作區內檢索是否有重復現象；