[發明專利]面向短視頻數據的分布式內存系統及視頻數據管理方法

在審

• 申請號: 202110031964.2
• 申請日: 2021-01-11
• 公開（公告）號: CN112631789A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 華宇;李曉孟;劉璐榮
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/75;G06F16/957
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

本發明公開了一種面向短視頻數據的分布式內存系統及視頻數據管理方法，屬于計算機網絡與數據存儲領域，系統內各代理服務器中熱數據緩存區由DRAM和NVM組成，且多臺代理服務器被劃分為多個服務器組，每一個服務器組作為一個整體協同服務用戶；各組內，熱度等級越低的視頻數據，存儲該視頻數據的代理服務器越少；方法包括：在每個服務器組內，為各代理服務器創建布隆過濾器存儲在本地，并在各代理服務器內存儲其余代理服務器的布隆過濾器的副本鏡像；定期將組內高負載代理服務器上的熱數據復制到低負載代理服務器上，使用基于優先級的批處理更新策略保證布隆過濾器的副本鏡像的一致性。本發明在提高熱數據緩存區的命中率的同時，減少了NVM的寫入量。

技術領域

本發明屬于計算機網絡與數據存儲領域，更具體地，涉及一種面向短視頻數據的分布式內存系統及視頻數據管理方法。

背景技術

短視頻即短片視頻，一般是在互聯網新媒體上傳播的時長在5分鐘以內的視頻。傳統的短視頻文件平均大小為7.6MB。為了提高用戶體驗質量，短視頻這種延遲敏感型應用采用內容分發網絡(Content Delivery Network，CDN)技術將視頻數據從源服務器遷移到靠近用戶端的代理服務器上。然而，現在比較受歡迎的短視頻平臺還有抖音、快手等，這些新興的短視頻平臺的數據大小平均小于5MB。并且新興的短視頻數據具有寫密集、數據量大、流量分布不均，用戶訪問量大的特征。所以為了保證快速的響應用戶請求，靠近用戶的代理服務器需要大的內存容量來存儲這些短視頻數據。

CDN緩存系統是基于代理服務器和數據中心在地理位置上分布的網絡系統。目的是通過相對于最終用戶在空間上分配服務來提供高可用性和高性能。傳統的CDN緩存系統中代理服務器具有兩層緩存，由駐留在內存的有限的熱數據緩存區(Hot Object Cache，HOC)和大的輔存磁盤緩存區(Disk Cache，DC)組成。為了實現快速地響應用戶請求，傳統的處理方法主要是最大化HOC上的命中率、控制請求路由等，但是根據理論分析和試驗評估，現有的處理方法并不能為具有數據量大、用戶訪問量大的特征的短視頻數據提供較低的用戶訪問延時。擴大CDN緩存系統中代理服務器的熱數據緩存區可以提高數據在內存上的命中率。

內存技術DRAM作為主存已經被廣泛使用在計算機系統的內存層次中。但是這些傳統的內存技術面臨成本高(購買成本和維護成本)和容量小等問題。新型的非易失內存技術(NVM)，如相變存儲器(PCM)，阻變存儲器(ReRAM)和自旋扭矩存儲器(STT-RAM)，由于具有高密度、接近于零的待機能耗、與DRAM的讀延遲相差無幾等優點，被提出和DRAM一起作為內存。2019年因特爾發布了第一款非易失性內存產品Optane^TMDC Persistent Memory(Intel PM)，并且Select可視化云交付網絡解決方案提出使用Optane來應對延遲敏感型CDN用戶案例(如實時視頻流)的內存限制的挑戰，因此NVM可以提供大容量的代理服務器的熱數據緩存區。但是NVM在寫耐久性上具有一定的局限性。NVM的存儲單元只能容忍有限次數的寫，這對于具有寫密集特征的短視頻數據是不友好的。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了一種面向短視頻數據的分布式內存系統及視頻數據管理方法，其目的在于，利用DRAM和NVM共同構成代理服務器中的熱數據緩存區，以增大熱數據緩存區的容量，從而提高熱數據緩存區的命中率，與此同時，有效減少NVM的寫入次數。

為實現上述目的，按照本發明的一個方面，提供了一種面向短視頻數據的分布式內存系統，包括源服務器和多臺代理服務器，且采用CDN技術將視頻數據從源服務器遷移到代理服務器上；

各代理服務器中熱數據緩存區由DRAM和NVM組成，且多臺代理服務器被劃分為多個服務器組，每一個服務器組作為一個整體協同服務用戶；每一個服務器組內，熱度等級越低的視頻數據，存儲該視頻數據的代理服務器越少；

其中，視頻數據依據其訪問量被劃分為不同的熱度等級，且熱度等級越低的視頻數據，其訪問量越小。