[發明專利]HDFS中基于事件密集度的交通監控視頻存儲方法

有效

• 申請號: 201410490195.2
• 申請日: 2014-09-23
• 公開（公告）號: CN104301671B
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 蔣昌俊;閆春鋼;陳閎中;喻劍;臧繼昆
• 申請（專利權）人: 同濟大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N21/231;H04N21/647;H04L29/08
• 代理公司: 上海天協和誠知識產權代理事務所31216
• 代理人: 葉鳳

1.HDFS中基于事件密集度的交通監控視頻存儲方法，其特征在于，具體包括如下步驟：

(1)智能攝像頭獲取交通監控數據，同時進行交通事件的檢測，然后將交通視頻流數據和數據中所包含的事件類型描述信息同時發送到視頻服務器；

(2)視頻服務器收到攝像頭發來的視頻流數據后對視頻數據進行編碼及分割，然后生成視頻文件，并根據視頻數據的事件描述信息為文件標明事件類型；將視頻數據上傳到HDFS；

(3)HDFS中的NameNode節點接收到數據存儲請求后，調用基于事件密集度的數據放置策略為將要存放的數據文件選擇目標數據節點；

(4)將文件存入步驟(3)中選中的目標數據節點中；

所述步驟(3)基于事件密集度的數據放置策略，具體步驟如下：

1)當系統收到客戶端的文件操作請求時，判斷操作為何種類型；

2)如果操作為文件寫入操作，獲得系統中即時維護的各事件類型的事件影響度；事件影響度代表包含不同類型事件的視頻文件由于用戶的訪問量不同對其所在數據節點負載影響程度；本發明定義e類型文件在時間間隔T內的訪問量與e類型文件在系統中的文件總數之比為e類型事件的事件影響度，且每隔時間T更新一次；設a_e表示事件類型e的影響度，計算公式如下：

3)計算各個數據節點的事件密集度；設集群中的數據節點的集合為D，數據節點d∈D，F為節點d中的文件集合，e(f)為文件f的事件類型；a_e(f)為文件f的事件影響度；本發明中所定義數據節點d的事件密集度按如下公式計算：

L(d)=Σf∈Fae(f)]]>

4)綜合各數據節點的事件密集度、數據節點的實時負載、磁盤容量等因素選取目標放置節點；設目標放置節點為g，d為集群中的任一數據節點g的選取方法如下：

a)L(g)≤L(d)，即g是所有數據節點中事件密集度最小的節點；

b)設節點d的當前時刻的負載為N_d,N_d以當前連接到d的客戶端操作請求數量來表示；如果a)中選出的節點為多個，那么g為當前負載N_d最小且有足夠存儲容量的節點；

c)如果b)中同樣獲得多個節點，則d為從這些節點中按照機架感知策略選出的節點；

5)獲得要存儲視頻的事件類型e，更新目標節點g和系統中e類型文件的存儲數量；

6)如果操作為文件讀取操作，則更新e類型文件的訪問數量；系統每隔固定的時間T，為每種各事件類型更新事件影響度。