[發明專利]分布式計算平臺及其文件管理方法

有效

• 申請號: 201710146949.6
• 申請日: 2017-03-13
• 公開（公告）號: CN106899602B
• 公開（公告）日: 2019-12-27
• 發明（設計）人: 王鵬;黃焱;趙莉
• 申請（專利權）人: 廣州五舟科技股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 44224 廣州華進聯合專利商標代理有限公司
• 代理人: 黃曉慶

本發明涉及一種分布式計算平臺及其文件管理方法，應用服務器接收根據AGW協議傳輸的協議數據包，發送協議標識和解密后的協議數據包至網關服務器。網關服務器在協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至節點服務器進行存儲；網關服務器在協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將操作信息發送至節點服務器，控制節點服務器反向連接到應用服務器進行文件數據傳輸。建立應用服務器、網關服務器和節點服務器之間的AGW協議通信，使得分布式計算平臺不受語言限制，架構簡單，降低了實現復雜度和用戶應用設計復雜度，從而降低了平臺的后期維護成本。

技術領域

本發明涉及計算機技術領域，特別是涉及一種分布式計算平臺及其文件管理方法。

背景技術

計算和存儲是信息產業發展的兩大主題，分布式計算平臺用于整合計算和存儲資源，如何平衡計算的靈活性和數據分析的高效性一直是學術界和產業界的研究熱點。大數據概念出現后以數據為中心的分布式系統研究越來越得到人們的關注，設計出具有靈活高效的面向數據的分布式系統成為了當前系統架構研究的重要課題。分布式文件系統是高性能計算和大數據平臺系統的根基，是系統在高并發請求、數據量暴增和大數據傳輸環境下穩定進行數據傳輸的保障。

目前的分布式計算平臺主要包含Hadoop和MPI(Message Passing Interface，信息傳遞接口)兩大分支，其中Hadoop采用HDFS文件系統，只適合對大文件進行處理，無法高效存儲大量小文件，且是重量級文件系統，設計與使用較為復雜；MPI由于沒有分布式文件系統，支持無法有效地對大數據應用進行處理。由于應用開發語言的多樣性和應用領域的多元化，傳統的分布式計算平臺為不同語言開發定制接口并為不同的應用領域定制功能，導致系統架構復雜，增加實現復雜度，增加用戶應用設計復雜度，增加系統的后期維護成本。傳統的分布式計算平臺存在維護成本高的缺點。

發明內容

基于此，有必要針對上述問題，提供一種可降低后期維護成本的分布式計算平臺及其文件管理方法。

一種分布式計算平臺，包括應用服務器、網關服務器和節點服務器，所述應用服務器與所述網關服務器通過AGW協議通信連接，所述網關服務器和所述節點服務器通過AGW協議通信連接，所述節點服務器和所述應用服務器通過AGW協議通信連接；

所述應用服務器用于接收根據所述AGW協議傳輸的協議數據包，對所述協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至所述網關服務器，所述協議標識表征協議的請求目的；以及接收所述節點服務器傳輸的文件數據并輸出；

所述網關服務器用于在接收的協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至所述節點服務器進行存儲；在接收的協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將所述操作信息發送至所述節點服務器，并控制所述節點服務器根據所述操作信息反向連接到所述應用服務器進行文件數據傳輸。

一種分布式計算平臺的文件管理方法，包括以下步驟：

應用服務器接收根據AGW協議傳輸的協議數據包，對所述協議數據包進行反序列化和解密，得到協議標識和解密后的協議數據包并發送至網關服務器；

所述網關服務器在接收的協議標識表征數據上傳請求時，對接收的解密后的協議數據包進行提取得到文件信息并發送至所述節點服務器進行存儲；

所述網關服務器在接收的協議標識表征文件操作請求時，對接收的解密后的協議數據包進行提取得到操作信息，將所述操作信息發送至節點服務器；

所述網關服務器控制所述節點服務器根據所述操作信息反向連接到所述應用服務器進行文件數據傳輸；

所述應用服務器接收所述節點服務器傳輸的文件數據并輸出。