[發明專利]一種基于訪問熱度的時空數據服務調度方法

有效

• 申請號: 201410848528.4
• 申請日: 2014-12-29
• 公開（公告）號: CN104580447B
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 郭旦懷;杜一;周園春;黎建輝
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 余長江

本發明涉及一種基于訪問熱度的時空數據服務調度方法。該方法是：1)采集服務系統中各存儲介質的參數，以及服務系統中各計算節點的參數；2)根據采集的數據編制數據服務系統的網絡拓撲圖；3)根據所述網絡拓撲圖，把時空數據進行時空分片，采集并記錄每個時空區塊的訪問數據訪問的熱度；4)根據訪問熱度調整數據的分布位置，并對計算節點進行調度。所述訪問熱度是指不同的時空區間內用戶訪問某些服務的頻度。本發明能夠將數據從存儲介質到計算節點的多路徑進行建模，系統根據數據的訪問熱度把數據分布在不同的存儲介質，計算節點通過不同的網絡途徑獲取所需的數據，從而降低數據服務系統的響應時間，提高數據服務系統的服務質量。

技術領域

本發明屬于地學的云計算和大數據服務領域，具體涉及一種時空數據服務的數據分配和調度方法，用戶通過采集數據服務系統的各設備參數和歷史訪問熱度，就可以據此制定一套合理的調度方法，從而降低數據服務系統的響應時間，提供數據服務系統的服務質量。

背景技術

數據服務是一種軟件服務，它封裝了數據實體的相關操作，面向服務的數據存儲在多個系統中，要和服務數據交互需要多個接口和多種機制。數據服務還要給不同需求的用戶提供不同的服務，這給數據服務提供了挑戰。集中式數據服務讓數據使用者無需去訪問或者更新多個數據源，更重要的是，當用戶需要操作多個數據源時，數據服務有助于維持數據的完整性。此外，它們還能夠幫助構建可被多個項目和創新利用的可重用數據服務。數據服務還能夠執行關鍵的治理職能——它們有助于度量指標的集中化、監視、版本管理、數據類型的重用，以及執行數據可視化和訪問規則。

衡量數據服務質量的一個重要因子就是數據訪問的處理速度，訪問速度的一個重要因子是計算存儲器I/O的速度，目前的計算存儲器主要有半導體、磁芯、磁鼓、磁帶、激光光盤和閃存。就同一個計算機而言，有可以分為主存儲器、副存儲器、三級存儲設備和離線存儲設備。由于不同的存儲設備其設計的目的不同，不同的設備有不同的特點，衡量存儲介質的特點有持久性、多次擦寫性、讀取順序、尋址能力、存儲能力、訪問延遲、吞吐效率、粒度、可靠性、能耗等。數據服務的不僅提供數據的上傳下載服務，還提供大量的數據計算等任務，承擔計算任務的計算機的能力根據其配置有所不同。衡量計算計算和存儲能力的指標主要包括CPU主頻、CPU數量、內存、本地硬盤種類和轉速容量和顯卡類型及顯存等。隨著數據體量的不斷增大，依賴單個的存儲介質的數據存放方式已經不能滿足存儲和計算的需要，不同的存儲介質與計算設備之間需要利用網絡設備進行連接，數據在網絡之間傳輸。衡量網絡的主要指標有網絡結構、網絡吞吐效率、不確定性、丟包率和延遲等。

由于投資規模、建設周期等因素的制約，一個數據中心往往是上述存儲設備、計算設備和網絡設備的多種設備的組合。

時空數據是指具有時間和空間維度的數據，是指同時帶有空間坐標和時間標簽的數據，傳統的時空數據包括矢量格式的地理數據和遙感數據，現在已經拓展到如有時空坐標的社交媒體數據、網絡數據等。時空數據的特點決定了其訪問方式有一定的特點，其空間特征決定了數據訪問的空間關聯性，數據維度決定了數據訪問具有時間的相關性。

現有技術條件下，時空數據服務中數據的存儲介質的選擇，網絡鏈路的選擇和計算節點的選擇決定了數據服務計算任務的效率，以往的策略主要是依靠運行維護人員的經驗，無法進行有效的量化和優化。這是大規模數據服務和數據密集型云計算Qos需要解決的重要問題。

發明內容

本發明的目的在于提供如何將數據服務系統中的各個環節進行量化建模，進而提供數據服務調度的方法，以實現數據密集型計算環境中的數據的合理調度。

為了達到上述目的，本發明提出一種基于數據訪問熱度的時空數據服務調度建模方法，能夠將數據從存儲介質到計算節點的多路徑進行建模，系統根據數據的訪問熱度，把數據分布在不同的存儲介質，計算節點通過不同的網絡途徑獲取所需的數據，以實現數據服務的優化。

具體來說，本發明的技術方案為：