[發明專利]面向短視頻數據的分布式內存系統及視頻數據管理方法

在審

• 申請號: 202110031964.2
• 申請日: 2021-01-11
• 公開（公告）號: CN112631789A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 華宇;李曉孟;劉璐榮
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/75;G06F16/957
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

1.一種面向短視頻數據的分布式內存系統，包括源服務器和多臺代理服務器，且采用CDN技術將視頻數據從所述源服務器遷移到代理服務器上；其特征在于，

各所述代理服務器中熱數據緩存區由DRAM和NVM組成，且所述多臺代理服務器被劃分為多個服務器組，每一個服務器組作為一個整體協同服務用戶；每一個服務器組內，熱度等級越低的視頻數據，存儲該視頻數據的代理服務器越少；

其中，視頻數據依據其訪問量被劃分為不同的熱度等級，且熱度等級越低的視頻數據，其訪問量越小。

2.如權利要求1所述的面向短視頻數據的分布式內存系統，其特征在于，服務器組的分組策略包括：

以最小化用戶的平均訪問延遲和最大化組內服務器個數為目標，利用貪心算法確定每個服務器組內的代理服務器數量N；

將地理位置最相近的N臺代理服務器劃分到一個服務器組；劃分結束后，至多一個服務器組內的代理服務器數量小于N，其余服務器組內的代理服務器數量均為N。

3.一種基于權利要求1-2任一項所述的面向短視頻數據的分布式內存系統的視頻數據管理方法，其特征在于，包括：

在每個服務器組內，為各代理服務器創建布隆過濾器存儲在本地，并在各代理服務器內存儲其余代理服務器的布隆過濾器的副本鏡像；

代理服務器的布隆過濾器用于映射代理服務器內存儲的視頻數據。

4.如權利要求3所述的視頻數據管理方法，其特征在于，還包括：

在每一個服務器組內，由各代理服務器按照預設的均衡周期，輪流統計組內各代理服務器的訪問量，以識別出在每一個均衡周期內組內的高負載代理服務器和低負載代理服務器；對于所識別出的高負載代理服務器，統計其中存儲的各視頻數據的訪問量，以識別出其中的熱視頻數據；將所識別出的熱視頻數據復制到所識別出的低負載代理服務器中。

5.如權利要求4所述的視頻數據管理方法，其特征在于，對于任意一個代理服務器組，在當前均衡周期內，識別出組內的高負載代理服務器和低負載代理服務器的方式，包括：

在當前均衡周期內，由當前執行統計工作的代理服務器統計組內各代理服務器的訪問量，并將訪問量最高的一臺或多臺代理服務器預識別為高負載代理服務器，將訪問量最低的一臺或多臺代理服務器預識別為低負載代理服務器；

對當前均衡周期內對于高負載代理服務器和低負載代理服務器的預識別結果，以及當前均衡周期之前的N-1個均衡周期內對于高負載代理服務器和低負載代理服務器的識別結果進行投票，確定當前均衡周期內的高負載代理服務器和低負載代理服務器，得到當前均衡周期對于高負載代理服務器和低負載代理服務器的識別結果。

6.如權利要求5所述的視頻數據管理方法，其特征在于，代理服務器輪流統計組內各代理服務器的訪問量，并基于統計結果識別出高負載代理服務器和低負載代理服務器，包括：

代理服務器監測其中存儲的布隆過濾器及布隆過濾器的副本鏡像，當用戶請求命中布隆過濾器或布隆過濾器的副本鏡像時，相應的代理服務器的訪問量加1，從而在指定時間段內統計得到各代理服務器的訪問量；將訪問量大的一臺或多臺代理服務器識別為高負載代理服務器，并將訪問量最小的一臺或多臺代理服務器識別為低負載代理服務器。

7.如權利要求4所述的視頻數據管理方法，其特征在于，對于所識別出的高負載代理服務器，統計其中存儲的各視頻數據的訪問量，以識別出其中的熱視頻數據，包括：

利用哈希表統計高負載代理服務器上的每個視頻數據的訪問量，由此篩選出其中訪問量最大的部分視頻數據；

對于篩選出的視頻數據，利用Count-Min sketch統計各視頻數據的訪問量，將其中訪問量最大的部分視頻數據確定為熱視頻數據。

8.如權利要求4所述的視頻數據管理方法，其特征在于，還包括：

當一臺代理服務器因視頻數據插入，使得其布隆過濾器更新時，經過預設的時間間隔后，對該代理服務器在組內其他代理服務器中的布隆過濾器的副本鏡像進行更新，且更新過程中，優先更新因高負載代理服務器中的熱視頻數據復制而插入的視頻數據對應的位置。

9.如權利要求3-8任一項所述的視頻數據管理方法，其特征在于，還包括：按照如下步驟處理用戶請求：

本地服務器查找步驟：距離用戶最近的第一代理服務器接收到所述用戶請求后，在本地查找其自身的布隆過濾器，若命中且查找結果未發生假陽性，則將所請求的視頻數據返回給用戶；若自身布隆過濾器未命中或查找結果發生假陽性，則在本地查找其他服務器的布隆過濾器的副本鏡像，若命中，則將所述用戶請求轉發至命中的布隆過濾器副本鏡像所對應的第二代理服務器，并觸發組內服務器查找步驟；若布隆過濾器的副本鏡像未命中，則觸發源服務器查找步驟：

組內服務器查找步驟：所述第二代理服務器在本地查找其自身的布隆過濾器，若命中且查找結果未發生假陽性，則將所請求的視頻數據返回給所述第一代理服務器，以由所述第一代理服務器將所請求的視頻數據返回給用戶；否則，觸發源服務器查找步驟；

源服務器查找步驟：源服務器查找到所請求的視頻數據后，返回給向其轉發所述用戶請求的第三代理服務器；若所述第三代理服務器為所述第一代理服務器，則直接由所述第三代理服務器將所請求的視頻數據返回給用戶；否則，由所述第三代理服務器將所請求的視頻數據返回給所述第一代理服務器后，由所述第一代理服務器將所請求的視頻數據返回給用戶。