[發明專利]一種基于存儲計算的文件調用方法與系統

在審

• 申請號: 201710570150.X
• 申請日: 2017-07-13
• 公開（公告）號: CN107346342A
• 公開（公告）日: 2017-11-14
• 發明（設計）人: 郭建華;陳煜康;魏寧
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海隆天律師事務所31282
• 代理人: 鐘宗,盛曉穎

技術領域

本發明涉及大數據計算存儲領域，具體涉及到一種基于存儲計算的文件調用方法與系統。

背景技術

近年來，隨著計算機信息技術的高速發展，數據的規模呈爆炸式的增長，同時數據的復雜度也越來越復雜，數據的維度也越來越多。大數據在行業得到了越來越多的關注。在大數據的處理分析上，對大規模數據的數據分析，必須依賴于云計算分布式計算技術，分布式數據庫和文件系統。

云計算是一種基于互聯網的計算方式。其包括虛擬化、大數據分布式計算、高性能并行計算、大規模數據與網絡存儲等技術。其主要原理是將一個大的任務劃分為若干小任務，然后將這些小任務分配給多臺機器進行并行執行，多臺機器通過網絡通信的方式協作處理，最后將所有的計算結果進行匯總。

在云計算下計算效率往往受到存儲的限制，雖然內存計算技術在這幾年得到了很好的發展，但是內存和磁盤的讀寫速度仍然存在巨大的差距，內存的讀寫速度能夠達到10GB的速度，而磁盤的速度只有100MB的速度。存儲分配是困擾已久的技術問題。

發明內容

針對以上現有問題，本發明的目的在于提供高效利用各類存儲介質類型的文件調用方法，以使得各級存儲單元能夠被合理分配利用，從而加快上層計算架構的效率。

根據本發明的第一個方面，提供一種基于存儲計算的文件調用系統，包括：多個節點存儲裝置，每個節點存儲裝置包括多級存儲單元以及節點管理模塊，多級存儲單元包括高速存儲單元以及低速存儲單元，節點管理模塊用于管理對應的多級存儲單元；文件調用裝置，文件調用裝置與多個節點管理模塊通信連接；在發生文件讀取時，節點管理模塊將文件讀取信息發送至文件調用裝置；文件調用裝置定時按訪問頻率將文件進行排序，通過節點管理模塊將訪問頻率高的文件移動至高速存儲單元，將原先訪問頻率高但當前訪問頻率低的文件置換到低速存儲單元。

優選地，文件調用裝置接收多個節點管理模塊發送的文件讀取信息，將同一文件的文件讀取信息累加記錄在同一文件記錄中，以記錄文件訪問頻率。

優選地，文件調用裝置根據所有節點存儲裝置的文件讀取信息按訪問頻率將所有文件進行排序，文件調用裝置通過節點存儲裝置管理器將同一節點存儲裝置中訪問頻率高的文件移動至同一節點存儲裝置的高速存儲單元，將同一節點存儲裝置中原先訪問頻率高但當前訪問頻率低的文件置換到同一節點存儲裝置的低速存儲單元。

優選地，節點管理模塊統計同一節點存儲裝置中的多級存儲單元的存儲信息，定期將存儲信息發送至文件調用裝置。

優選地，多級存儲單元的存儲容量達到警告閾值時，多級存儲單元對應的節點管理模塊向文件調用裝置發送警告信息，文件調用裝置優先對多級存儲單元進行文件置換。

優選地，文件調用裝置根據多個多級存儲單元的存儲信息，按負載均衡算法分配多個多級存儲單元，文件調用裝置按訪問頻率將文件進行排序，通過多個節點管理模塊將訪問頻率高的文件移動至高速存儲單元，將原先訪問頻率高但當前訪問頻率低的文件置換到低速存儲單元。

優選地，文件調用裝置根據用戶設定的間隔時間，周期地按訪問頻率將文件進行排序。

優選地，文件調用裝置接收用戶對特定文件設置的存儲級別信息，文件調用裝置按存儲級別信息通過節點管理模塊存儲特定文件，特定文件存儲位置不被移動或是置換。

優選地，文件調用裝置查找特定文件的存儲節點存儲裝置，并按存儲級別信息向存儲節點存儲裝置的節點管理模塊發送標記請求；節點管理模塊接收標記請求，核對特定文件是否存儲在與標記請求相符的高速存儲單元或低速存儲單元中，若相符則標記特定文件，若不符則移動特定文件至相符的高速存儲單元或低速存儲單元后標記特定文件；節點管理模塊返回標記信息。

根據本發明的第二個方面，提供一種基于存儲計算的文件調用方法，多個文件存儲于多個節點存儲裝置，每個節點存儲裝置包括多級存儲單元中以及一節點管理模塊，多級存儲單元包括高速存儲單元或是低速存儲單元，多個節點管理模塊與文件調用裝置通信連接，基于存儲計算的文件調用方法包括步驟：節點管理模塊在發生文件讀取時，將文件讀取信息發送至文件調用裝置；文件調用裝置按訪問頻率將所有文件進行排序；文件調用裝置向節點管理模塊發送文件置換命令，以將訪問頻率高的文件移動至高速存儲單元，將原先訪問頻率高但當前訪問頻率低的文件置換到低速存儲單元；節點管理模塊接收文件置換命令并執行。