[發明專利]云計算平臺訪問UFS的方法、存儲介質和裝置

在審

• 申請號: 201811546586.6
• 申請日: 2018-12-18
• 公開（公告）號: CN109815205A
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 廖新剛;焦運
• 申請（專利權）人: 創新科存儲技術（深圳）有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/11
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

本發明提供一種云計算平臺訪問UFS的方法、存儲介質和裝置，云計算平臺的程序語言為Java，該方法包括：在云計算平臺和UFS集群之間設置第一中間層、第二中間層和第三中間層；第一中間層，在云計算平臺的客戶端中新建或改寫第一接口，第一接口通過調用第二接口的Java接口函數支持云計算平臺對UFS集群的訪問操作；第二中間層，使用JNI創建第二接口，第二接口包括一一對應的N個Java接口函數和N個C&C++接口函數；N個C&C++接口函數通過調用第三接口以支持第一接口的訪問操作；第三中間層，在UFSClient Core創建第三接口，第三接口支持對UFS集群的存儲對象的訪問操作。本發明使用JNI實現了Java開發的云計算平臺和C&C++開發的UFS的結合，不僅省去重復開發的麻煩，且兼具兩者優勢。

技術領域

本發明涉及計算機領域，特別涉及一種云計算平臺訪問UFS的方法、存儲介質和裝置。

背景技術

Hadoop是Apache基金會下的一款開源軟件，它實現了包括分布式文件系統HDFS和MapReduce框架在內的云計算軟件平臺的基礎架構，并且在其上整合了包括數據庫、云計算管理、數據倉儲等一系列平臺，其已成為工業界和學術界進行云計算應用和研究的標準平臺。Hadoop分布式文件系統(HDFS)被設計成適合運行在通用硬件上的分布式文件系統。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。

HDFS采用“一次寫入、多次讀取(write-once-read-many)”模型，該模型降低了并發性控制要求，簡化了數據聚合性，支持高吞吐量訪問。HDFS將數據寫入嚴格限制為一次一個寫入程序。字節總是被附加到一個流的末尾，字節流總是以寫入順序存儲。由于HDFS架構設計上的適合于一次寫入、多次讀取的應用場景，所以原生的HDFS存儲存在以下的不足之處：

·不適合低延遲數據訪問場景：比如毫秒級，低延遲與高吞吐率

·不適合小文件存取場景:占用NameNode大量內存。尋道時間超過讀取時間。

·不適合并發寫入，文件隨機修改場景：一個文件只能有一個寫入。僅支持append追加寫模式。

·不支持POSIX語義。

UIT(創新科存儲技術有限公司)的分布式文件系統UFS(Uit Distributed FileSystem)是目前廣泛使用的一種分布式文件系統。UFS采用數據路徑與控制路徑分離的非對稱分布式架構，結合負載均衡與并發訪問策略，可以基于普通硬件構建出統一命名空間，提供PB級的存儲容量及超高聚合帶寬，同時具備高可用、靈活擴展、易管理、易使用等特點的存儲集群。

此外UFS具有以下優點：

·適合低延遲數據訪問場景：比如毫秒級，低延遲與高吞吐率

·適合小文件存取場景。

·適合并發寫入，文件隨機修改場景。

·支持POSIX語義。

可見，將UFS和Hadoop結合，可以極大提升UFS和Hadoop的功能。此外Hadoop只是云計算平臺的一種框架，還存在其他框架也可以與UFS形成有益結合，但是此類云計算平臺采用Java開發，UFS采用C&C++開發，程序語言不同，如何才能使兩者結合？

發明內容

有鑒于此，本發明提供一種云計算平臺訪問UFS的方法、存儲介質和裝置，以解決如何將UFS和Java開發云計算平臺結合的問題。

本發明提供一種云計算平臺訪問UFS的方法，云計算平臺的程序語言為Java，該方法包括：在云計算平臺和UFS集群之間設置第一中間層、第二中間層和第三中間層；