[發明專利]基于智慧校園中臺的對象存儲裝置及方法

在審

• 申請號: 202110609147.0
• 申請日: 2021-06-01
• 公開（公告）號: CN113311999A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 張旻;張愛軍;郭怡培;張武增;林東旭;張晶;汪峰
• 申請（專利權）人: 中國電信股份有限公司河南分公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/13;G06F16/16;G06F16/182
• 代理公司: 北京祺和祺知識產權代理有限公司 11501
• 代理人: 胡草

本發明公開了一種基于智慧校園中臺的對象存儲裝置及方法，其裝置設置于對象存儲系統的代理服務器，所述代理服務器與用戶終端通信連接，包括：控制模塊，布置于對象存儲裝置的客戶端，用于指定存儲對象文件的存儲服務器；切塊模塊，用于將所述存儲對象文件切分成若干個數據子文件；存儲模塊，用于創建有序列表文件，讀取/寫入所述數據子文件分割結點信息和存儲結點信息。本發明通過構建一種位置感知寫入機制，為對象存儲系統提供放置控制，在對象存儲系統中實現高效的對象重命名，解決了數據寫入性能問題。

【技術領域】

本發明涉及大數據對象存儲系統設計技術領域，具體地說，是一種基于智慧校園中臺的對象存儲裝置及方法。

【背景技術】

智慧校園中臺用于構建教育基礎數據倉庫，實現用戶數據的采集和匯聚，集成電信的計費通道，實現對用戶的統一計費管理，構建教育數據的互聯互通體系，建設信息化基礎支撐平臺，以信息應用為導向，為整個教育信息化建設框架搭建提供支撐和服務，實現“統一用戶認證，統一數據中心，第三方應用接入管理”。實現前端校園門戶與后端智慧校園應用整合，實現應用的實施和計費管控。消除信息孤島和應用空白，提高工作效率，提高管理效率，提高決策效率。其構建目標是：1)實現后臺應用的接入和應用供應商及提供第三方應用的統一接入和管理；2)實現的統一校園用戶數據規范，統一認證和應用授權，同時實現業務訂單和電信商務領航平臺數據同步；3)實現對翼校通等校園前臺系統提供應用賦能，校園用戶通過原有校園應用門戶一次認證即可進入中臺接入的應用功能界面；4)加快電信校園業務發展和運營的集約化管理，建設數據中心沉淀業務大數據，建設開放平臺引入外部合作，發展智慧教育，促進信息技術與教育的深度融合，促進移動互聯網背景下教育管理、教與學的深刻變革，服務于智慧城市、學習型城市建設和公眾需求，實現優質教育資源廣泛共享，提升教育公平水準，推動教育現代化發展。

智慧校園中臺項目建設的數據中心系統，通過數據交換子系統實現從教育應用生態廠家匯聚教育教學過程化數據和教學資源文本類、視頻類、文件類等非結構化數據，通過數據存儲子系統提供的存儲海量文件的分布式存儲服務，實現數據的快速入倉和大小文件的隨時訪問。基于對象的存儲系統(如阿里OSS，百度BOS，Amazon S3，OpenStack Swift等)因幾乎無限的伸縮性和較高的經濟效益，已成為大規模存儲的重要解決方案。隨著企業在對象存儲系統中存入更多數據，對這些數據做大數據分析正日益重要。

分布式對象存儲系統，提供了快速的讀取、減少訪問的時延，以滿足項目的實際需求，同時由于其具有可伸縮性和低成本優勢而成為一種有吸引力的存儲解決方案，并且在項目建設中得到廣泛的部署。為了分析保存在對象存儲系統中的數據，同時避免把數據復制到分布式文件系統(例如HDFS)的昂貴過程，很自然地直接將它們用作數據并行分析框架(例如Spark或MapReduce)的存儲后端。然而在對象存儲上執行數據并行框架存在嚴重的性能問題：1.對象名稱到存儲結點的哈希映射過程，妨礙對象重命名時的文件寫入，并增加了時延；2.與傳統文件塊相比，對象的粒度更粗，從而降低了讀取期間的并行性。現有的解決方案試圖通過避免昂貴的數據操作，特別是在避免重命名操作來解決數據并行分析工作中的寫入性能問題，導致操作受限。

【發明內容】

本發明的目的是針對現有技術中的不足，提供一種基于智慧校園中臺的對象存儲裝置及方法，通過構建一種位置感知寫入機制，為對象存儲系統提供放置控制，在對象存儲系統中實現高效的對象重命名，解決了數據寫入性能問題；同時通過在對象存儲時將對象數據切塊，然后在集群中的不同服務器上存儲切塊的多個副本，解決了數據讀取性能問題。最終實現將存儲結點和計算結點布署于同一集群上，無縫集成分析框架和對象存儲系統而不會造成明顯的性能損失，避免了遠程數據讀寫的額外時延，從而達到最大的數據分析性能。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

第一方面，本發明提供了一種基于智慧校園中臺的對象存儲裝置，所述對象存儲裝置設置于對象存儲系統的代理服務器，所述代理服務器與用戶終端通信連接，所述對象存儲裝置包括：